[ Skip to the content ]

Institute of Formal and Applied Linguistics

at Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic


[ Back to the navigation ]

Publication


Year 2016
Type in proceedings
Status published
Language English
Author(s) Hajič, jr., Jan Novotný, Jiří Pecina, Pavel Pokorný, Jaroslav
Date 8.8.2016
Title Further Steps towards a Standard Testbed for Optical Music Recognition
Czech title Další kroky ke standardizovanému testování pro rozpoznávání notopisu
Proceedings 2016: New York, NY, USA: ISMIR 2016: Proceedings of the 17th International Society for Music Information Retrieval Conference
Pages range 157-163
How published online
URL https://18798-presscdn-pagely.netdna-ssl.com/ismir2016/wp-content/uploads/sites/2294/2016/07/289_Paper.pdf
Supported by 2012-2018 GBP103/12/G084 (Centrum pro multi-modální interpretaci dat velkého rozsahu) 2012-2016 PRVOUK P46 (Informatika) 2011 SVV 263 314 (Teoretické základy informatiky a výpočetní lingvistiky) 2016 SVV 260 333 (Teoretické základy informatiky a výpočetní lingvistiky)
Czech abstract Evaluace rozpoznávání notopisu (Optical Music Recognition, OMR) je notoricky obtížná a automatické metriky pro evaluaci konečného výstupu OMR nejsou k dispozici. V "Towards a Standard Testbed for Optical Music Recognition: Definitions, Metris and Page Images", Byrd a Simonsen nedávno zdůraznili, že benchmarkovací standard je v komunitě OMR nutný: jak evaluační data, tak metriky. Navazujeme na jejich analýzu a předkládáme prototyp benchmarku pro OMR. Náš příspěvek není úplné řešení komplexního problému evaluace OMR; je to (a) snaha definovat víceúrovňový testovací dataset pro OMR a implementace jeho prototypu pro tištěná a rukopisná data, (b) na korpusu založená metodologie pro vyhodnocování automatických evaluačních metrik, a příslušný korpus více než 1000 expertních posouzení relativní obtížnosti opravy různých druhů chyb. Na (b) pak navazujeme vyhodnocením několika přímočarých evaluačních metrik pro MusicXML a nastavujeme tak baseline, kterou další metriky budou zlepšovat.
English abstract Evaluating Optical Music Recognition (OMR) is notoriously difficult and automated end-to-end OMR evaluation metrics are not available to guide development. In “Towards a Standard Testbed for Optical Music Recognition: Definitions, Metrics, and Page Images”, Byrd and Simonsen recently stress that a benchmarking standard is needed in the OMR community, both with regards to data and evaluation metrics. We build on their analysis and definitions and present a prototype of an OMR benchmark. We do not, however, presume to present a complete solution to the complex problem of OMR benchmarking. Our contributions are: (a) an attempt to define a multi- level OMR benchmark dataset and a practical prototype implementation for both printed and handwritten scores, (b) a corpus-based methodology for assessing automated evaluation metrics, and an underlying corpus of over 1000 qualified relative cost-to-correct judgments. We then assess several straightforward automated MusicXML evaluation metrics against this corpus to establish a baseline over which further metrics can improve.
Specialization computer science ("informatika")
Confidentiality default – not confidential
Open access no
Article no. 20
Editor(s)* Michael I. Mandel; Johanna Devaney; Douglas Turnbull; George Tzanetakis
ISBN* 978-0-692-75506-8
Address* New York, NY, USA
Month* August
Publisher* New York University
Institution* New York University
Creator: Common Account
Created: 7/2/16 10:12 AM
Modifier: Almighty Admin
Modified: 2/25/17 10:07 PM
***

Content, Design & Functionality: ÚFAL, 2006–2016. Page generated: Mon Sep 25 13:30:14 CEST 2017

[ Back to the navigation ] [ Back to the content ]

100% OpenAIRE compliant