Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

WMT 2016

Campaña

Nombre de la campaña

Nombre de la tarea

Machine Translation of IT domain

Biomedical Translation Task

Quality Estimation

Automatic Post-Editing

Tipo de tarea

Traducción.

Descripción de la tarea

Machine Translation of IT domain: traducción de las respuestas en un servicio de asistencia multilingüe, donde las respuestas de solución de problemas de hardware y software se traducen del inglés a los idiomas de los usuarios.

Biomedical Translation Task: es una nueva tarea que tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para los dominios biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.

Quality estimation evalúa métodos automáticos para estimar la calidad de salida de la traducción automática.

Automatic Post-Editing evalúa los métodos automáticos para corregir los errores producidos por un sistema de traducción automática.

Categoría de la tarea

Traducción Automática

Fecha evento / edición

2016

Organizadores
  • Ondřej Bojar, Charles University in Prague, República Checa
  • Christian Buck, University of Edinburgh, Reino Unido
  • Rajen Chatterjee, FBK, Italia
  • Christian Federmann, Microsofr Research, EE.UU.
  • Liane Guillou, University of Edinburgh, Reino Unido
  • Barry Haddow, University of Edinburgh, Reino Unido
  • Matthias Huck, University of Edinburgh, Reino Unido
  • Antonio Jimeno Yepes, IBM Research, Australia
  • Aurélie Névéol, LIMSI, CNRS, Francia
  • Mariana Neves, Hasso-Plattner Institute, Alemania
  • Pavel Pecina, Charles University in Prague, República Checa
  • Martin Popel, Charles University in Prague, República Checa
  • Philipp Koehn (University of Edinburgh, Reino Unido / Johns Hopkins University, EE.UU.
  • Christof Monz, University of Amsterdam, Holanda
  • Matteo Negri, FBK, Italia
  • Matt Post, Johns Hopkins University, EE.UU.
  • Lucia Specia, University of Sheffield, Reino Unido
  • Karin Verspoor, University of Melbourne, Australia
  • Jörg Tiedemann, University of Helsinki, Finlandia
  • Marco Turchi, FBK, Italia

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 31/01/ 2016: Publicación de datos de entrenamiento
  • 10/04/2016: Publicación de datos de test
  • 26/04/2016: Fecha límite de envío de resultados
  • 06/05/2016: Fecha límite de envío de resultados (QE)
  • 15/05/2016: Fecha límite de envío de artículos
  • 05/06/2016: Notificación de aceptación.
  • 22/06/2016: Fecha límite para envío versiones finales de artículos

Número de participantes

39

Número de participantes de España

4

Dominio

IT y salud (biomédicina)

Idiomas

Español, vasco y otros idiomas

  • Nombre de la campaña

  • Nombre de la tarea

    • Machine Translation of IT domain

      Biomedical Translation Task

      Quality Estimation

      Automatic Post-Editing

  • Tipo de tarea

    • Traducción.

  • Descripción de la tarea

    • Machine Translation of IT domain: traducción de las respuestas en un servicio de asistencia multilingüe, donde las respuestas de solución de problemas de hardware y software se traducen del inglés a los idiomas de los usuarios.

      Biomedical Translation Task: es una nueva tarea que tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para los dominios biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.

      Quality estimation evalúa métodos automáticos para estimar la calidad de salida de la traducción automática.

      Automatic Post-Editing evalúa los métodos automáticos para corregir los errores producidos por un sistema de traducción automática.

  • Categoría de la tarea

    • Traducción Automática

  • Fecha evento / edición

    • 2016

  • Organizadores

      • Ondřej Bojar, Charles University in Prague, República Checa
      • Christian Buck, University of Edinburgh, Reino Unido
      • Rajen Chatterjee, FBK, Italia
      • Christian Federmann, Microsofr Research, EE.UU.
      • Liane Guillou, University of Edinburgh, Reino Unido
      • Barry Haddow, University of Edinburgh, Reino Unido
      • Matthias Huck, University of Edinburgh, Reino Unido
      • Antonio Jimeno Yepes, IBM Research, Australia
      • Aurélie Névéol, LIMSI, CNRS, Francia
      • Mariana Neves, Hasso-Plattner Institute, Alemania
      • Pavel Pecina, Charles University in Prague, República Checa
      • Martin Popel, Charles University in Prague, República Checa
      • Philipp Koehn (University of Edinburgh, Reino Unido / Johns Hopkins University, EE.UU.
      • Christof Monz, University of Amsterdam, Holanda
      • Matteo Negri, FBK, Italia
      • Matt Post, Johns Hopkins University, EE.UU.
      • Lucia Specia, University of Sheffield, Reino Unido
      • Karin Verspoor, University of Melbourne, Australia
      • Jörg Tiedemann, University of Helsinki, Finlandia
      • Marco Turchi, FBK, Italia

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 31/01/ 2016: Publicación de datos de entrenamiento
      • 10/04/2016: Publicación de datos de test
      • 26/04/2016: Fecha límite de envío de resultados
      • 06/05/2016: Fecha límite de envío de resultados (QE)
      • 15/05/2016: Fecha límite de envío de artículos
      • 05/06/2016: Notificación de aceptación.
      • 22/06/2016: Fecha límite para envío versiones finales de artículos

  • Número de participantes

    • 39

  • Número de participantes de España

    • 4

  • Dominio

    • IT y salud (biomédicina)

  • Idiomas

    • Español, vasco y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

TrueSkill (IT) para ranking

BLEU (biomedical/health)

DeltaAvg and Mean Average Error (QE)

TER (post-editing).

Rendimiento
  • EN-ES (IT): 3,53 (TrueSkill)
  • EN-EU (IT): 1,57 (TrueSkill)
  • EN-ES (bio): 33,22 (BLEU)
  • EN-ES (health): 29,47 (BLEU)
  • ES-EN (bio): 31,49 (BLEU)
  • ES-EN (health): 29,05 (BLEU)
  • EN-ES (QE): 0,12 (DeltaAvg), 0,29 (MAE)
  • EN-ES (post-editing): 21,52 (TER)

Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

50+

Resultados con los rankings

Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurelie Neveol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, Marcos Zampieri. Findings of the 2016 Conference on Machine Translation (WMT16). Proceedings of the First Conference on Machine Translation, Volume 2: Shared Task Papers, pp. 131–198, Co-located with ACL, Berlin, Germany, August 11-12, 2016.

http://www.statmt.org/wmt16/pdf/W16-2301.pdf 

Volumen de publicación

Proceedings of the 10th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • TrueSkill (IT) para ranking

      BLEU (biomedical/health)

      DeltaAvg and Mean Average Error (QE)

      TER (post-editing).

  • Rendimiento

      • EN-ES (IT): 3,53 (TrueSkill)
      • EN-EU (IT): 1,57 (TrueSkill)
      • EN-ES (bio): 33,22 (BLEU)
      • EN-ES (health): 29,47 (BLEU)
      • ES-EN (bio): 31,49 (BLEU)
      • ES-EN (health): 29,05 (BLEU)
      • EN-ES (QE): 0,12 (DeltaAvg), 0,29 (MAE)
      • EN-ES (post-editing): 21,52 (TER)

  • Disponibilidad del código

    • Evaluación
      Participantes: no

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 50+

  • Resultados con los rankings

    • Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurelie Neveol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, Marcos Zampieri. Findings of the 2016 Conference on Machine Translation (WMT16). Proceedings of the First Conference on Machine Translation, Volume 2: Shared Task Papers, pp. 131–198, Co-located with ACL, Berlin, Germany, August 11-12, 2016.

      http://www.statmt.org/wmt16/pdf/W16-2301.pdf 

  • Volumen de publicación

    • Proceedings of the 10th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email