Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

WMT 2013

Campaña

Nombre de la campaña

Nombre de la tarea

Machine Translation for European Languages

Unofficial Metrics

Quality Estimation

Tipo de tarea

Traducción.

Descripción de la tarea

El objetivo del workshop WMT del 2013 además de la traducción automática para pares de idiomas europeos, es investigar las métricas de evaluación así como  la calidad de la traducción en tiempo real.

Categoría de la tarea

Traducción Automática

Fecha evento / edición

2013

Organizadores
  • Ondrej Bojar, Charles University, República Checa
  • Christian Buck, University of Edinburgh, Reino Unido
  • Chris Callison-Burch, Johns Hopkins University, EE.UU.
  • Christian Federmann, DFKI, Alemania
  • Barry Haddow, University of Edinburgh, Reino Unido
  • Philipp Koehn, University of Edinburgh, Reino Unido
  • Christof Monz, University of Amsterdam, Holanda
  • Matt Post, Johns Hopkins University, EE.UU.
  • Herve Saint-Amand, University of Edinburgh, Reino Unido
  • Radu Soricut, SDL Language Weaver, EE.UU.
  • Lucia Specia, University of Sheffield, Reino Unido

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado 3 sistemas de traducción on-line y 3 sistemas comerciales (anónimos).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 01/02/ 2013: Publicación de datos de entrenamiento (traducción)
  • 28/02/2013: Publicación de datos de entrenamiento (estimación de calidad)
  • 29/04/2013: Publicación de datos de test (traducción)
  • 25/05/2013: Publicación de datos de test (estimación de calidad)
  • 03/05/2013: Fecha límite de envío de resultados (traducción)
  • 31/05/2013: Fecha límite de envío (métricas y estimación de calidad)
  • 17/05/2013 – 07/06/2013: Período de evaluación manual
  • 07/06/2013: Envío artículos
  • 24/06/2013: Notificación de aceptación
  • 01/07/2013: Envío versión final de artículos

Número de participantes

35

Número de participantes de España

1

Dominio

Parlamento Europeo, Naciones Unidas, noticias yrelatos

Idiomas

Español y otros idiomas

  • Nombre de la campaña

  • Nombre de la tarea

    • Machine Translation for European Languages

      Unofficial Metrics

      Quality Estimation

  • Tipo de tarea

    • Traducción.

  • Descripción de la tarea

    • El objetivo del workshop WMT del 2013 además de la traducción automática para pares de idiomas europeos, es investigar las métricas de evaluación así como  la calidad de la traducción en tiempo real.

  • Categoría de la tarea

    • Traducción Automática

  • Fecha evento / edición

    • 2013

  • Organizadores

      • Ondrej Bojar, Charles University, República Checa
      • Christian Buck, University of Edinburgh, Reino Unido
      • Chris Callison-Burch, Johns Hopkins University, EE.UU.
      • Christian Federmann, DFKI, Alemania
      • Barry Haddow, University of Edinburgh, Reino Unido
      • Philipp Koehn, University of Edinburgh, Reino Unido
      • Christof Monz, University of Amsterdam, Holanda
      • Matt Post, Johns Hopkins University, EE.UU.
      • Herve Saint-Amand, University of Edinburgh, Reino Unido
      • Radu Soricut, SDL Language Weaver, EE.UU.
      • Lucia Specia, University of Sheffield, Reino Unido

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado 3 sistemas de traducción on-line y 3 sistemas comerciales (anónimos).

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 01/02/ 2013: Publicación de datos de entrenamiento (traducción)
      • 28/02/2013: Publicación de datos de entrenamiento (estimación de calidad)
      • 29/04/2013: Publicación de datos de test (traducción)
      • 25/05/2013: Publicación de datos de test (estimación de calidad)
      • 03/05/2013: Fecha límite de envío de resultados (traducción)
      • 31/05/2013: Fecha límite de envío (métricas y estimación de calidad)
      • 17/05/2013 – 07/06/2013: Período de evaluación manual
      • 07/06/2013: Envío artículos
      • 24/06/2013: Notificación de aceptación
      • 01/07/2013: Envío versión final de artículos

  • Número de participantes

    • 35

  • Número de participantes de España

    • 1

  • Dominio

    • Parlamento Europeo, Naciones Unidas, noticias yrelatos

  • Idiomas

    • Español y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

EXPECTED WINS (translation): mide la probabilidad que un sistema traduzca mejor que otro sistema una frase al azar (véase descipción detallada en el overview).

Kendall’s Tau (unofficial metrics)

DeltaAvg (quality estimation): representa el ranking respecto a otras frases del test (véase descipción detallada en el overview)

Rendimiento

EXPECTED WINS:

  • ES-EN: 0,626
  • EN-ES: 0,637

Kendall’s Tau EN-ES: 0,23

Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

100+

Resultados con los rankings

Ondrej Bojar, Christian Buck, Chris Callison-Burch, Christian Federmann, Barry Haddow, Philipp Koehn, Christof Monz, Matt Post, Radu Soricut, Lucia Specia.Findings of the 2013 Workshop on Statistical Machine Translation. Proceedings of the Eighth Workshop on Statistical Machine Translation, pp. 1–44, Co-located with ACL, Sofia, Bulgaria, August 8-9, 2013

http://www.statmt.org/wmt13/pdf/WMT01.pdf

Volumen de publicación

Proceedings of the 8th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • EXPECTED WINS (translation): mide la probabilidad que un sistema traduzca mejor que otro sistema una frase al azar (véase descipción detallada en el overview).

      Kendall’s Tau (unofficial metrics)

      DeltaAvg (quality estimation): representa el ranking respecto a otras frases del test (véase descipción detallada en el overview)

  • Rendimiento

    • EXPECTED WINS:

      • ES-EN: 0,626
      • EN-ES: 0,637

      Kendall’s Tau EN-ES: 0,23

  • Disponibilidad del código

    • Evaluación
      Participantes: no

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 100+

  • Resultados con los rankings

    • Ondrej Bojar, Christian Buck, Chris Callison-Burch, Christian Federmann, Barry Haddow, Philipp Koehn, Christof Monz, Matt Post, Radu Soricut, Lucia Specia.Findings of the 2013 Workshop on Statistical Machine Translation. Proceedings of the Eighth Workshop on Statistical Machine Translation, pp. 1–44, Co-located with ACL, Sofia, Bulgaria, August 8-9, 2013

      http://www.statmt.org/wmt13/pdf/WMT01.pdf

  • Volumen de publicación

    • Proceedings of the 8th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email