WMT 2017

Compartir

Campaña

Nombre de la campaña

WMT 2017: Second Conference on Statistical Machine Translation@ EMNLP
Nombre de la tarea

Biomedical Translation Task
Tipo de tarea

Traducción.
Descripción de la tarea

Esta tarea tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para el dominio biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.
la tarea

Traducción Automática
Fecha evento / edición

2017 - http://www.statmt.org/wmt17/biomedical-translation-task.html
Organizadores
  • Ondrej Bojar, Charles University in Prague, República Checa
  • Antonio Jimeno Yepes, IBM Research, Australia
  • Aurélie Névéol, LIMSI, CNRS, Francia
  • Mariana Neves, Federal Institute for Risk Assessment / Hasso Plattner Institute, Alemania
  • Pavel Pecina, Charles University in Prague, República Checa
  • Karin Verspoor, University of Melbourne, Australia
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 31/01/2017: Publicación de los datos de entrenamiento
  • 02/05/2017: Publicación de datos de test
  • 12/05/2017: Fecha límite de envío de resultados
  • 05/06/2016: Notificación de aceptación.
  • 22/06/2016: Fecha límite para el envío de la versión final de los  artículos
Número de participantes

3
Número de participantes de España

-
Dominio

Salud (biomédicina)
Idiomas Español, inglés y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV
Derecho de redistribución de datos

Sólo para investigación.
Enlace a datasets

http://www.statmt.org/wmt17/biomedical-translation-task.html

Resultados

Métrica de evaluación

BLEU
Rendimiento

Scielo dataset:

  • EN-ES: 36,23
  • ES-EN: 37,49

Cochrane dataset: EN-ES:  48.99

NHS dataset: EN-ES: 41,22

http://www.statmt.org/wmt17/wmt-2017-biomedical.pdf
Disponibilidad del código

Evaluación
Participantes: no
Tipo de ejecución

Local
Número total de resultados enviados

82
Resultados con los rankings

Antonio Jimeno Yepes, Aurelie Neveol, Mariana Neves, Karin Verspoor, Ondrej Bojar, Arthur Boyer, Cristian Grozea, Barry Haddow, Madeleine Kittner, Yvonne Lichtblau, Pavel Pecina, Roland Roller, Rudolf Rosa, Amy Siu, Philippe Thomas, Saskia Trescher. Findings of the WMT 2017 Biomedical Translation Shared Task., Proceedings of the Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pp. 234–247, Co-located with EMNLP, Copenhagen, Denmark, September 711, 2017.

http://www.statmt.org/wmt17/pdf/WMT19.pdf 
Volumen de publicación

Proceedings of the Conference on Statistical Machine Translation. Association for Computational Linguistics.
Gestión web de usuarios

Sí
Atención a participantes

Email