Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

WMT 2014

Campaña

Nombre de la campaña

Nombre de la tarea

Quality Estimation

Tipo de tarea

Ranking de traducciones

Descripción de la tarea

Esta tarea avalúa métodos automáticos para estimar la calidad de salida de la traducción automática en tiempo de ejecución. La estimación de la calidad es un tema de creciente interés en MT. Su objetivo es proporcionar un indicador de calidad para oraciones desconocidas traducidas en varios niveles de granularidad: a nivel de oraciones y a nivel de palabras.

la tarea

Traducción Automática

Fecha evento / edición

Organizadores
  • Ondrej Bojar, Charles University, República Checa
  • Christian Buck, University of Edinburgh, Reino Unido
  • Christian Federmann, Microsoft Research, EE.UU.
  • Barry Haddow, University of Edinburgh, Reino Unido
  • Philipp Koehn, University of Edinburgh, Reino Unido
  •  Matouš Macháček, Charles University in Prague, República Checa
  • Christof Monz, University of Amsterdam, Holanda
  •  Pavel Pecina, Charles University in Prague, República Checa
  • Matt Post, Johns Hopkins University, EE.UU.
  • Herve Saint-Amand, University of Edinburgh, Reino Unido
  • Radu Soricut, SDL Language Weaver, EE.UU.
  • Lucia Specia, University of Sheffield, Reino Unido

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Yandex ha participado con la School of Data Analysis.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 22/01/2014: Publicación de datos de entrenamiento
  • 07/03/2014: Publicación de datos de prueba
  • 01/04/2014: Fecha límite de envío de resultados de métricas QE
  • 01/04/2014: Fecha límite de envío de artículos
  • 21/04/2014: Notificación de aceptación
  • 28/04/2014: fecha límite para envío de artículos finales

Número de participantes

10

Número de participantes de España

1

Dominio

Parlamento Europeo, Naciones Unidas, noticias y relatos

Idiomas

Español, inglés y alemán

  • Nombre de la campaña

  • Nombre de la tarea

    • Quality Estimation

  • Tipo de tarea

    • Ranking de traducciones

  • Descripción de la tarea

    • Esta tarea avalúa métodos automáticos para estimar la calidad de salida de la traducción automática en tiempo de ejecución. La estimación de la calidad es un tema de creciente interés en MT. Su objetivo es proporcionar un indicador de calidad para oraciones desconocidas traducidas en varios niveles de granularidad: a nivel de oraciones y a nivel de palabras.

  • la tarea

    • Traducción Automática

  • Fecha evento / edición

  • Organizadores

      • Ondrej Bojar, Charles University, República Checa
      • Christian Buck, University of Edinburgh, Reino Unido
      • Christian Federmann, Microsoft Research, EE.UU.
      • Barry Haddow, University of Edinburgh, Reino Unido
      • Philipp Koehn, University of Edinburgh, Reino Unido
      •  Matouš Macháček, Charles University in Prague, República Checa
      • Christof Monz, University of Amsterdam, Holanda
      •  Pavel Pecina, Charles University in Prague, República Checa
      • Matt Post, Johns Hopkins University, EE.UU.
      • Herve Saint-Amand, University of Edinburgh, Reino Unido
      • Radu Soricut, SDL Language Weaver, EE.UU.
      • Lucia Specia, University of Sheffield, Reino Unido

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Yandex ha participado con la School of Data Analysis.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 22/01/2014: Publicación de datos de entrenamiento
      • 07/03/2014: Publicación de datos de prueba
      • 01/04/2014: Fecha límite de envío de resultados de métricas QE
      • 01/04/2014: Fecha límite de envío de artículos
      • 21/04/2014: Notificación de aceptación
      • 28/04/2014: fecha límite para envío de artículos finales

  • Número de participantes

    • 10

  • Número de participantes de España

    • 1

  • Dominio

    • Parlamento Europeo, Naciones Unidas, noticias y relatos

  • Idiomas

    • Español, inglés y alemán

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

DeltaAvg: representa el ranking respecto a otras frases del test (véase descipción detallada en el overview)

Rendimiento
  • ES-EN: 0,26
  • EN-ES: 0,23

Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

10

Resultados con los rankings

Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, Ales Tamchyna. Findings of the 2014 Workshop on Statistical Machine Translation. Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12–58, Co-locotaed with ACL, Baltimore, Maryland USA, June 26–27, 2014

http://www.statmt.org/wmt14/pdf/W14-3302.pdf

Volumen de publicación

Proceedings of the 9th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • DeltaAvg: representa el ranking respecto a otras frases del test (véase descipción detallada en el overview)

  • Rendimiento

      • ES-EN: 0,26
      • EN-ES: 0,23

  • Disponibilidad del código

    • Evaluación
      Participantes: no

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 10

  • Resultados con los rankings

    • Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, Ales Tamchyna. Findings of the 2014 Workshop on Statistical Machine Translation. Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12–58, Co-locotaed with ACL, Baltimore, Maryland USA, June 26–27, 2014

      http://www.statmt.org/wmt14/pdf/W14-3302.pdf

  • Volumen de publicación

    • Proceedings of the 9th ACL Workshop on Statistical Machine Translation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email