WMT 2007 - Machine traslation

Campaña

Nombre de la campaña

WMT 2007: Second Workshop on Statistical Machine Translation @ AACL

Nombre de la tarea

Shared Task: Machine Translation for European Languages

Tipo de tarea

Traducción

Descripción de la tarea

Proporcionan datos de entrenamiento para pares de idiomas europeos y un marco común (que incluye un modelo de idioma y un sistema de línea de base). La tarea es mejorar los métodos para construir una tabla de traducción de frases (por ejemplo, mediante una mejor de alineación de palabras, extracción de frases, puntuación de frases), aumentar el sistema de otros sistemas (por ejemplo, mediante preprocesamiento) o crear sistemas de traducción completamente nuevos.

la tarea

Traducción Automática

Fecha evento / edición

2007 - http://www.statmt.org/wmt07/shared-task.html

Organizadores
  • Philipp Koehn, University of Edinburgh, Reino Unido
  • Christof Monz, University of London, Reino Unido
  • Cameron Shaw Fordyce, CELC, Italia
  •  Chris Callison-Burch, University of Edinburgh, Reino Unido
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Ha participado los sistemas comerciales Systran y PCT.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 21/03/2007: Datos de test
  • 06/04/2007: Envío resultados
  • 13/04/2007: Envío artículos
Número de participantes

15 (español)

Número de participantes de España

2

Dominio

Noticias y Europarl

Idiomas Español, inglés y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

http://www.statmt.org/wmt07/shared-task.html

Resultados

Métrica de evaluación

Manualmente con un conjunto de cuatro métricas: adequacy, fluency,  rank, constituent

Rendimiento
  • ES-EN (Europarl): 0,59   0.61   0.5    0,19
  • ES-EN (noticias):  0,57   0,54   0,54   0,31
  • EN-ES (Europarl): 0,59   0,64   0,47  0,25
  • EN-ES (noticias):  0,51   0,51   0,48   0,35
Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

28

Resultados con los rankings

Chris Callison-Burch, Cameron Fordyce, Philipp Koehn, Christof Monz, Josh Schroeder. (Meta-) Evaluation of Machine Translation. Proceedings of the Second Workshop on Statistical Machine Translation, pp. 136–158, in conjunction with ACL, June 23, 2007, Prague, Czech Republic

http://www.statmt.org/wmt07/pdf/WMT18.pdf  

Volumen de publicación

Proceedings of the Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email