Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

WMT 2015

Campaña

Nombre de la campaña

Nombre de la tarea

Quality Estimation

Automatic Post-Editing

Tipo de tarea

Ranking de traducciones, corrección de errores.

Descripción de la tarea

Quality estimation evalúa métodos automáticos para estimar la calidad de salida de la traducción automática en tiempo de ejecución. La estimación de la calidad es un tema de creciente interés en MT. Su objetivo es proporcionar un indicador de calidad para oraciones desconocidas traducidas en varios niveles de granularidad: a nivel de oraciones y de palabras.

Automatic Post-Editing evalúa los métodos automáticos para corregir los errores producidos por un sistema de traducción automática. Dado que el sistema en sí mismo es una "caja negra", los métodos automáticos de edición posterior tienen que operar a nivel descendente (es decir, después de la traducción automática), mediante la explotación del conocimiento adquirido de las ediciones anteriores y se proporciona como material de entrenamiento.

Categoría de la tarea

Traducción Automática

Fecha evento / edición

2015

Organizadores
  • Ondřej Bojar, Charles University in Prague, República Checa
  • Rajan Chatterjee, FBK, Italia
  • Christian Federmann, Microsoft Research, EE.UU.
  • Barry Haddow, University of Edinburgh, Reino Unido
  • Chris Hokamp, Dublin City University, Irlanda
  • Matthias Huck, University of Edinburgh, Reino Unido
  • Varvara Logacheva, University of Sheffield, Reino Unido
  • Pavel Pecina, Charles University in Prague, República Checa
  • Philipp Koehn, University of Edinburgh, Reino Unido / Johns Hopkins University, EE.UU.
  • Christof Monz, University of Amsterdam, Holanda
  • Matteo Negri, FBK, Italia
  • Matt Post, Johns Hopkins University, EE.UU.
  • Carolina Scarton, University of Sheffield, Reino Unido
  • Lucia Specia, University of Sheffield, Reino Unido
  •  Marco Turchi, FBK, Italia

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 31/01/2015: Publicación de datos de entrenamiento (post-editing)
  • 15/02/2015: Publicación de datos de entrenamiento (QE)
  • 04/052015: Publicación de datos de test (QE)
  • 27/04/2015: Publicación de datos de test (post-editing)
  • 15/05/2015: Fecha límite de envío resultados (post-editing)
  • 02/06/2015: Fecha límite de envío de resultados (QE)
  • 28/06/2015: Fecha límite de envío de artículos
  • 21/07/2015: Notificación de aceptación
  • 11/08/2015: Fecha límite para envío de las versiones final de los artículos

Número de participantes

16

Número de participantes de España

1

Dominio

Parlamento Europeo, Naciones Unidas, noticias y relatos

Idiomas

Español y otros idiomas

  • Nombre de la campaña

  • Nombre de la tarea

    • Quality Estimation

      Automatic Post-Editing

  • Tipo de tarea

    • Ranking de traducciones, corrección de errores.

  • Descripción de la tarea

    • Quality estimation evalúa métodos automáticos para estimar la calidad de salida de la traducción automática en tiempo de ejecución. La estimación de la calidad es un tema de creciente interés en MT. Su objetivo es proporcionar un indicador de calidad para oraciones desconocidas traducidas en varios niveles de granularidad: a nivel de oraciones y de palabras.

      Automatic Post-Editing evalúa los métodos automáticos para corregir los errores producidos por un sistema de traducción automática. Dado que el sistema en sí mismo es una "caja negra", los métodos automáticos de edición posterior tienen que operar a nivel descendente (es decir, después de la traducción automática), mediante la explotación del conocimiento adquirido de las ediciones anteriores y se proporciona como material de entrenamiento.

  • Categoría de la tarea

    • Traducción Automática

  • Fecha evento / edición

    • 2015

  • Organizadores

      • Ondřej Bojar, Charles University in Prague, República Checa
      • Rajan Chatterjee, FBK, Italia
      • Christian Federmann, Microsoft Research, EE.UU.
      • Barry Haddow, University of Edinburgh, Reino Unido
      • Chris Hokamp, Dublin City University, Irlanda
      • Matthias Huck, University of Edinburgh, Reino Unido
      • Varvara Logacheva, University of Sheffield, Reino Unido
      • Pavel Pecina, Charles University in Prague, República Checa
      • Philipp Koehn, University of Edinburgh, Reino Unido / Johns Hopkins University, EE.UU.
      • Christof Monz, University of Amsterdam, Holanda
      • Matteo Negri, FBK, Italia
      • Matt Post, Johns Hopkins University, EE.UU.
      • Carolina Scarton, University of Sheffield, Reino Unido
      • Lucia Specia, University of Sheffield, Reino Unido
      •  Marco Turchi, FBK, Italia

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 31/01/2015: Publicación de datos de entrenamiento (post-editing)
      • 15/02/2015: Publicación de datos de entrenamiento (QE)
      • 04/052015: Publicación de datos de test (QE)
      • 27/04/2015: Publicación de datos de test (post-editing)
      • 15/05/2015: Fecha límite de envío resultados (post-editing)
      • 02/06/2015: Fecha límite de envío de resultados (QE)
      • 28/06/2015: Fecha límite de envío de artículos
      • 21/07/2015: Notificación de aceptación
      • 11/08/2015: Fecha límite para envío de las versiones final de los artículos

  • Número de participantes

    • 16

  • Número de participantes de España

    • 1

  • Dominio

    • Parlamento Europeo, Naciones Unidas, noticias y relatos

  • Idiomas

    • Español y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

QE: DeltaAvg,  Error de Promedio Medio (MAE) y sequence correlation.

Post-editing: Distancia mínima de edición (TER) entre la traducción automática y su versión editada posteriormente de forma manual.

Rendimiento
  • EN-ES (QE sentence-level): 6,51 (DeltaAvg); 13,25 (MAE)
  • EN-ES (QE word-level): 43,12 (sequence correlation)
  • EN-ES (post-editing): 23,22 (TER)

Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

50+

Resultados con los rankings

Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Barry Haddow, Matthias Huck, Chris Hokamp, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, Marco Turchi. Findings of the 2015 Workshop on Statistical Machine Translation. Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 1–46, Co-located with EMNLP, Lisboa, Portugal, 17-18 September 2015.

http://www.statmt.org/wmt15/pdf/WMT01.pdf 

Volumen de publicación

Proceedings of the 10th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • QE: DeltaAvg,  Error de Promedio Medio (MAE) y sequence correlation.

      Post-editing: Distancia mínima de edición (TER) entre la traducción automática y su versión editada posteriormente de forma manual.

  • Rendimiento

      • EN-ES (QE sentence-level): 6,51 (DeltaAvg); 13,25 (MAE)
      • EN-ES (QE word-level): 43,12 (sequence correlation)
      • EN-ES (post-editing): 23,22 (TER)

  • Disponibilidad del código

    • Evaluación
      Participantes: no

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 50+

  • Resultados con los rankings

    • Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Barry Haddow, Matthias Huck, Chris Hokamp, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, Marco Turchi. Findings of the 2015 Workshop on Statistical Machine Translation. Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 1–46, Co-located with EMNLP, Lisboa, Portugal, 17-18 September 2015.

      http://www.statmt.org/wmt15/pdf/WMT01.pdf 

  • Volumen de publicación

    • Proceedings of the 10th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email