Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Semseval 2014 - Multilingual Semantic Textual Similarity

Campaña

Nombre de la campaña

Nombre de la tarea

Task 10: Multilingual Semantic Textual Similarity

Tipo de tarea

Similitud textual

Descripción de la tarea

Evaluar pares de oraciones según su grado de similitud semántica.

Categoría de la tarea

Procesamiento del lenguaje natural.

Fecha evento / edición

Organizadores
  • Carmen Banea, University of Michigan, EE.UU.
  • Claire Cardie, Cornell University, EE.UU.
  • Rada Mihalcea, University of Michigan, EE.UU.
  • Janyce Wiebe. University of Pittsburgh, EE.UU

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 10/01/2007: Datos de trial disponibles
  • 30/10/2013: Datos de trial disponibles
  • 15/12/2013: Datos de entrenamiento disponibles
  • 10/03/2014: Datos de test disponibles
  • 15/03/2014: Inicio de evaluación
  • 30/03/2014: Fin de la evaluación
  • 15/05/2014: Envío de artículos
  • 10/06/2014: Revisiones
  • 30/06/2014:Envío versión final de artículos
  • 23-30 /08/2014: SemEval

Número de participantes
9

Número de participantes de España

1

Dominio

Wikipedia y Noticias

Idiomas

Español e inglés

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 10: Multilingual Semantic Textual Similarity

  • Tipo de tarea

    • Similitud textual

  • Descripción de la tarea

    • Evaluar pares de oraciones según su grado de similitud semántica.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural.

  • Fecha evento / edición

  • Organizadores

      • Carmen Banea, University of Michigan, EE.UU.
      • Claire Cardie, Cornell University, EE.UU.
      • Rada Mihalcea, University of Michigan, EE.UU.
      • Janyce Wiebe. University of Pittsburgh, EE.UU

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 10/01/2007: Datos de trial disponibles
      • 30/10/2013: Datos de trial disponibles
      • 15/12/2013: Datos de entrenamiento disponibles
      • 10/03/2014: Datos de test disponibles
      • 15/03/2014: Inicio de evaluación
      • 30/03/2014: Fin de la evaluación
      • 15/05/2014: Envío de artículos
      • 10/06/2014: Revisiones
      • 30/06/2014:Envío versión final de artículos
      • 23-30 /08/2014: SemEval

  • Número de participantes

    • 9

  • Número de participantes de España

    • 1

  • Dominio

    • Wikipedia y Noticias

  • Idiomas

    • Español e inglés

Datos

Datos de entrenamiento
Distribuido como CSV.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Correlación de Pearson con etiquetas de referencia.

Rendimiento

El rango final es el promedio entre los dos conjuntos de datos: 80.7%

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

48

Resultados con los rankings

Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer; Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, Janyce Wieb. Task 10: Multilingual Semantic Textual Similarity. Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), August 2014, pp. 81-91.

http://aclweb.org/anthology/S/S07/S07-1008.pdfhttp://aclweb.org/anthology/S/S14/S14-2010.pdf

Volumen de publicación

Proceedings of the 8th International Workshop on Semantic Evaluation.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • Correlación de Pearson con etiquetas de referencia.

  • Rendimiento

    • El rango final es el promedio entre los dos conjuntos de datos: 80.7%

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 48

  • Resultados con los rankings

  • Volumen de publicación

    • Proceedings of the 8th International Workshop on Semantic Evaluation.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email