WMT 2006: Workshop on Statistical Machine Translation @ NAACL

Nombre de la tarea

Shared Task: Exploiting Parallel Texts for Statistical  Machine Translation

Tipo de tarea

Traducción.

Descripción de la tarea

Proporcionan datos de entrenamiento para pares de idiomas europeos y un marco común (que incluye un modelo de idioma y un sistema de línea de base). La tarea es mejorar los métodos para construir una tabla de traducción de frases (por ejemplo, mediante una mejor de alineación de palabras, extracción de frases, puntuación de frases), aumentar el sistema de otros sistemas (por ejemplo, mediante preprocesamiento) o crear sistemas de traducción completamente nuevos.

Categoría de la tarea

Traducción Automática

Fecha evento / edición

2006 - http://www.statmt.org/wmt06/shared-task/

Organizadores

• Philipp Koehn, University of Edinburgh, Reino Unido
• Christof Monz, University of London, Reino Unido

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Microsoft, Nippon Telegraph and Telephone, y el sistema comercial Systran.

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario

• 20/03/2006: Datos de test
• 31/03/2006: Envío resultados
• 07/04/2006: Envío artículos

Número de participantes

10 (español)

Número de participantes de España

4

Dominio

Parlamento Europeo y Noticias

Idiomas

Español, inglés y otros idiomas

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

http://www.statmt.org/wmt07/shared-task.html

Métrica de evaluación

Manualmente con un conjunto de cuatro métricas: adequacy, fluency, rank, constituent

Rendimiento

• ES-EN (Europarl): 0,59   0.61   0.5    0,19
• ES-EN (noticias):  0,57   0,54   0,54   0,31
• EN-ES (Europarl): 0,59   0,64   0,47  0,25
• EN-ES (noticias):  0,51   0,51   0,48   0,35

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

28

Resultados con los rankings

Chris Callison-Burch, Cameron Fordyce, Philipp Koehn, Christof Monz, Josh Schroeder. (Meta-) Evaluation of Machine Translation. Proceedings of the Second Workshop on Statistical Machine Translation, pp. 136–158, in conjunction with ACL, June 23, 2007, Prague, Czech Republic

http://www.statmt.org/wmt07/pdf/WMT18.pdf 

Volumen de publicación

Proceedings of the Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email