[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2017
Type in proceedings
Status published
Language English
Author(s) Libovický, Jindřich Helcl, Jindřich
Title Attention Strategies for Multi-Source Sequence-to-Sequence Learning
Czech title Strategie používání attention modelů ve vícezdrojovém sekvenčním učení
Proceedings 2017: Stroudsburg, PA, USA: ACL 2017: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)
Pages range 196-202
How published online
Supported by 2017 SVV 260 453 (Teoretické základy informatiky a výpočetní lingvistiky) 2015-2017 GAUK 52315/2014 (Využití lingvistické informace při extrakci textu z obrazu) 2015-2018 H2020-ICT-2014-1-645452 (QT21: Quality Translation 21) 2012-2018 GBP103/12/G084 (Centrum pro multi-modální interpretaci dat velkého rozsahu)
Czech abstract Attention modely ve vícezdrojovém neuronovém sekvenčním učení zůstávají poměrně neprobádanou oblastí, a to navzdory jeho užitečnosti v úkolech, které které využívají více zdrojových jazyků či modalit. Navrhujeme dvě nové strategie jak kombinovat výstupy attentiion modelu z různých vstupů, plochou a hierarchickou. Navrhované metody porovnáváme se stávajícími a výsledky vyhodnocujeme na datech pro multimodální překlad a automatické post-editování překladu z WMT16. Navrhované metody dosažení konkurenceschopných výsledků na obou úlohách.
English abstract Modeling attention in neural multi-source sequence-to-sequence learning remains a relatively unexplored area, despite its usefulness in tasks that incorporate multiple source languages or modalities. We propose two novel approaches to combine the outputs of attention mechanisms over each source sequence, flat and hierarchical. We compare the proposed methods with existing techniques and present results of systematic evaluation of those methods on the WMT16 Multimodal Translation and Automatic Post-editing tasks. We show the proposed methods achieve competitive results on both tasks.
Specialization linguistics ("jazykověda")
Confidentiality default – not confidential
Open access yes
Editor(s)* Regina Barzilay; Min-Yen Kan
ISBN* 978-1-945626-76-0
Address* Stroudsburg, PA, USA
Month* July
Publisher* Association for Computational Linguistics
Institution* Association for Computational Linguistics
Organization* Association for Computational Linguistics
Creator: Common Account
Created: 4/4/17 10:50 AM
Modifier: Common Account
Modified: 9/18/17 7:14 PM
***

Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Thu Nov 23 15:35:50 CET 2017

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant