WMT 2012

Campaña

Nombre de la campaña

WMT 2012: Seventh Workshop on Statistical Machine Translation@ NAACL

Nombre de la tarea

Machine Translation for European Languages

Evaluation Metrics

Quality Estimation

Tipo de tarea

Traducción

Descripción de la tarea

El objetivo del workshop WMT del 2012 además de la traducción automática para pares de idiomas europeos, es investigar las métricas de evaluación así como  la calidad de la traducción en tiempo real.

la tarea

Traducción Automática

Fecha evento / edición

2012

Organizadores
  • Chris Callison-Burch, Johns Hopkins University, EE.UU.
  • Philipp Koehn, University of Edinburgh, Reino Unido
  • Christof Monz, University of Amsterdam, Holanda
  •  Matt Post, Johns Hopkins University, EE.UU.
  • Radu Soricut, SDL Language Weaver, EE.UU.
  • Lucia Specia, University of Sheffield, Reino Unido
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado dos sistemas de traducción on-line y dos sistemas comerciales (anónimos).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 09/12/2011: Publicación de datos de entrenamiento
  • 27/02/2012: Publicación de datos de test
  • 02/03/2012: Envío de resultados de traducción
  • 06/04/2012: Envío de artículos
Número de participantes

40

Número de participantes de España

3

Dominio

Parlamento Europeo, Naciones Unidas, noticias y comentarios

Idiomas Español y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

http://www.statmt.org/wmt12/translation-task.html

Resultados

Métrica de evaluación

BLUE y otras métricas (véase el overview por la descripción detallada)

Rendimiento

BLEU:

  • ES-EN (noticias): 0,38
  • EN-ES (noticias): 0,36
Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

100+

Resultados con los rankings

Chris Callison-Burch, Philipp Koehn, Christof Monz, Matt Post, Radu Soricut, Lucia Specia. Findings of the 2012 Workshop on Statistical Machine Translation. Proceedings of the 7th Workshop on Statistical Machine Translation, pp. 10–51, Co-located with NAACL, Montreal, Canada, June 7-8, 2012

http://www.statmt.org/wmt12/pdf/WMT02.pdf 

Volumen de publicación

Proceedings of the 7th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email