Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Semseval 2017 -Semantic Word Similarity

Campaña

Nombre de la campaña

Nombre de la tarea

Task 2: Multilingual and Cross-lingual Semantic Word Similarity

Tipo de tarea

Tareas de similityd textual con dos tracks:

  • monolingüe
  • translingüe

Descripción de la tarea

Evaluar la similitud entre pares de palabras en cinco idiomas: inglés, español, italiano, alemán y farsi.

Categoría de la tarea

Procesamiento del lenguaje natural, traducción automática

Fecha evento / edición

Organizadores
  • José Camacho-Collados, Sapienza University of Rome, Italia
  • Mohammad Taher Pilehvar, University of Cambridge, Reino Unido
  • Nigel Collier, University of Cambridge, Reino Unido
  • Roberto Navigli, Sapienza University of Rome, Italia

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 01/08/2016: Datos de trial disponibles
  • 09/01/2017: Inicio de evaluación
  • 30/01/2017: Final de evaluación
  • 09/02/2017: Resultados publicados
  • 27/02/2017: Envío de artículos
  • 03/042017: Notificaciones
  • 17/04/2017: Versión final de artículos

Número de participantes

17 equipos

Número de participantes de España

0

Dominio

5 datasets monolingüe, 10 translingüe

Idiomas

Español, inglés, italiano, alemán, farsi

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 2: Multilingual and Cross-lingual Semantic Word Similarity

  • Tipo de tarea

    • Tareas de similityd textual con dos tracks:

      • monolingüe
      • translingüe

  • Descripción de la tarea

    • Evaluar la similitud entre pares de palabras en cinco idiomas: inglés, español, italiano, alemán y farsi.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural, traducción automática

  • Fecha evento / edición

  • Organizadores

      • José Camacho-Collados, Sapienza University of Rome, Italia
      • Mohammad Taher Pilehvar, University of Cambridge, Reino Unido
      • Nigel Collier, University of Cambridge, Reino Unido
      • Roberto Navigli, Sapienza University of Rome, Italia

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 01/08/2016: Datos de trial disponibles
      • 09/01/2017: Inicio de evaluación
      • 30/01/2017: Final de evaluación
      • 09/02/2017: Resultados publicados
      • 27/02/2017: Envío de artículos
      • 03/042017: Notificaciones
      • 17/04/2017: Versión final de artículos

  • Número de participantes

    • 17 equipos

  • Número de participantes de España

    • 0

  • Dominio

    • 5 datasets monolingüe, 10 translingüe

  • Idiomas

    • Español, inglés, italiano, alemán, farsi

Datos

Datos de entrenamiento
Distribuido como CSV.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Pearson correlation con gold labels

Rendimiento
  • español: 0.,73
  • alemán-español: 0,72
  • inglés-español: 0,75
  • español-farsi: 0,62
  • español-italiano: 0,74

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

84

Resultados con los rankings

Jose Camacho-Collados, Mohammad Taher Pilehvar, Nigel Collier, and Roberto Navigli. Task 2: Multilingual and Cross-lingual Semantic Word Similarity. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). August 2017, pp. 15-26

http://aclweb.org/anthology/S/S17/S17-2002.pdf

Volumen de publicación

Proceedings of the 11th International Workshop on Semantic Evaluations (SemEval-2017). Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email y Google group

  • Métrica de evaluación

    • Pearson correlation con gold labels

  • Rendimiento

      • español: 0.,73
      • alemán-español: 0,72
      • inglés-español: 0,75
      • español-farsi: 0,62
      • español-italiano: 0,74

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 84

  • Resultados con los rankings

    • Jose Camacho-Collados, Mohammad Taher Pilehvar, Nigel Collier, and Roberto Navigli. Task 2: Multilingual and Cross-lingual Semantic Word Similarity. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). August 2017, pp. 15-26

      http://aclweb.org/anthology/S/S17/S17-2002.pdf

  • Volumen de publicación

    • Proceedings of the 11th International Workshop on Semantic Evaluations (SemEval-2017). Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email y Google group