WMT 2017

Campaña



Nombre de la campaña	WMT 2017: Second Conference on Statistical Machine Translation@ EMNLP
Nombre de la tarea	Biomedical Translation Task
Tipo de tarea	Traducción.
Descripción de la tarea	Esta tarea tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para el dominio biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.
Categoría de la tarea	Traducción Automática
Fecha evento / edición	2017 - http://www.statmt.org/wmt17/biomedical-translation-task.html
Organizadores	Ondrej Bojar, Charles University in Prague, República Checa Antonio Jimeno Yepes, IBM Research, Australia Aurélie Névéol, LIMSI, CNRS, Francia Mariana Neves, Federal Institute for Risk Assessment / Hasso Plattner Institute, Alemania Pavel Pecina, Charles University in Prague, República Checa Karin Verspoor, University of Melbourne, Australia
Grupos destinatarios	Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria.
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario	31/01/2017: Publicación de los datos de entrenamiento 02/05/2017: Publicación de datos de test 12/05/2017: Fecha límite de envío de resultados 05/06/2016: Notificación de aceptación. 22/06/2016: Fecha límite para el envío de la versión final de los artículos
Número de participantes	3
Número de participantes de España	-
Dominio	Salud (biomédicina)
Idiomas	Español, inglés y otros idiomas

Nombre de la campaña
- WMT 2017: Second Conference on Statistical Machine Translation@ EMNLP
Nombre de la tarea
- Biomedical Translation Task
Tipo de tarea
- Traducción.
Descripción de la tarea
- Esta tarea tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para el dominio biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.
Categoría de la tarea
- Traducción Automática
Fecha evento / edición
- 2017 - http://www.statmt.org/wmt17/biomedical-translation-task.html
Organizadores
- - Ondrej Bojar, Charles University in Prague, República Checa
  - Antonio Jimeno Yepes, IBM Research, Australia
  - Aurélie Névéol, LIMSI, CNRS, Francia
  - Mariana Neves, Federal Institute for Risk Assessment / Hasso Plattner Institute, Alemania
  - Pavel Pecina, Charles University in Prague, República Checa
  - Karin Verspoor, University of Melbourne, Australia
Grupos destinatarios
- Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria.
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario
- - 31/01/2017: Publicación de los datos de entrenamiento
  - 02/05/2017: Publicación de datos de test
  - 12/05/2017: Fecha límite de envío de resultados
  - 05/06/2016: Notificación de aceptación.
  - 22/06/2016: Fecha límite para el envío de la versión final de los artículos
Número de participantes
- 3
Número de participantes de España
- -
Dominio
- Salud (biomédicina)
Idiomas
- Español, inglés y otros idiomas

Datos



Datos de entrenamiento	Distribuido como CSV
Derecho de redistribución de datos	Sólo para investigación.
Enlace a datasets	http://www.statmt.org/wmt17/biomedical-translation-task.html

Datos de entrenamiento
- Distribuido como CSV
Derecho de redistribución de datos
- Sólo para investigación.
Enlace a datasets
- http://www.statmt.org/wmt17/biomedical-translation-task.html

Resultados



Métrica de evaluación	BLEU
Rendimiento	Scielo dataset: EN-ES: 36,23 ES-EN: 37,49 Cochrane dataset: EN-ES: 48.99 NHS dataset: EN-ES: 41,22 http://www.statmt.org/wmt17/wmt-2017-biomedical.pdf
Disponibilidad del código	Evaluación Participantes: no
Tipo de ejecución	Local
Número total de resultados enviados	82
Resultados con los rankings	Antonio Jimeno Yepes, Aurelie Neveol, Mariana Neves, Karin Verspoor, Ondrej Bojar, Arthur Boyer, Cristian Grozea, Barry Haddow, Madeleine Kittner, Yvonne Lichtblau, Pavel Pecina, Roland Roller, Rudolf Rosa, Amy Siu, Philippe Thomas, Saskia Trescher. Findings of the WMT 2017 Biomedical Translation Shared Task., Proceedings of the Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pp. 234–247, Co-located with EMNLP, Copenhagen, Denmark, September 711, 2017. http://www.statmt.org/wmt17/pdf/WMT19.pdf
Volumen de publicación	Proceedings of the Conference on Statistical Machine Translation. Association for Computational Linguistics.
Gestión web de usuarios	Sí
Atención a participantes	Email

Métrica de evaluación
- BLEU
Rendimiento
- Scielo dataset:
  - EN-ES: 36,23
  - ES-EN: 37,49
  Cochrane dataset: EN-ES: 48.99
  
  NHS dataset: EN-ES: 41,22
  
  http://www.statmt.org/wmt17/wmt-2017-biomedical.pdf
Disponibilidad del código
- Evaluación
  Participantes: no
Tipo de ejecución
- Local
Número total de resultados enviados
- 82
Resultados con los rankings
- Antonio Jimeno Yepes, Aurelie Neveol, Mariana Neves, Karin Verspoor, Ondrej Bojar, Arthur Boyer, Cristian Grozea, Barry Haddow, Madeleine Kittner, Yvonne Lichtblau, Pavel Pecina, Roland Roller, Rudolf Rosa, Amy Siu, Philippe Thomas, Saskia Trescher. Findings of the WMT 2017 Biomedical Translation Shared Task., Proceedings of the Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pp. 234–247, Co-located with EMNLP, Copenhagen, Denmark, September 711, 2017.
  
  http://www.statmt.org/wmt17/pdf/WMT19.pdf
Volumen de publicación
- Proceedings of the Conference on Statistical Machine Translation. Association for Computational Linguistics.
Gestión web de usuarios
- Sí
Atención a participantes
- Email