Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Semseval 2017 -Semantic Textual Similarity

Campaña

Nombre de la campaña

Nombre de la tarea

Task 1: Semantic Textual Similarity

Tipo de tarea

Tareas de similityd textual con dos tracks:

  • Spanish monolingual pairs
  • Spanish-English cross-lingual pairs

Descripción de la tarea

Evaluar pares de oraciones de acuerdo con su grado de similitud semántica.

Categoría de la tarea

Procesamiento del lenguaje natural, traducción automática

Fecha evento / edición

Organizadores
  • Eneko Agirre, Universidad del País Vasco, España
  • Daniel Cer, Google Research, EE.UU.
  • Mona Diab, George Washington University, EE.UU.
  • Iñigo Lopez-Gazpio, Universidad del País Vasco, España
  • Lucia Specia, University of Sheffield, Reino UnidoUU

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Compilatio (Francia), Hitachi (Japón), MITRE Corporation (EE.UU.), y National Information Processing Institute (Polonia).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 02/09/2016: Datos de trial disponibles
  • 24/10/2016: Datos de entrenamiento disponibles
  • 09/01/2017: Inicio de evaluación
  • 30/01/2017: Final de evaluación
  • 06/02/2017: Resultados publicados
  • 27/02/2017: Envío de artículos
  • 03/04/2017: Notificaciones
  • 17/04/2017: Versión final de artículos

Número de participantes

53 equipos

Número de participantes de España

0

Dominio

Stanford Natural Language Inference (SNLI) corpus: originalmente, leyendas de imagen

Idiomas

Español, inglés, árabe y turco.

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 1: Semantic Textual Similarity

  • Tipo de tarea

    • Tareas de similityd textual con dos tracks:

      • Spanish monolingual pairs
      • Spanish-English cross-lingual pairs

  • Descripción de la tarea

    • Evaluar pares de oraciones de acuerdo con su grado de similitud semántica.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural, traducción automática

  • Fecha evento / edición

  • Organizadores

      • Eneko Agirre, Universidad del País Vasco, España
      • Daniel Cer, Google Research, EE.UU.
      • Mona Diab, George Washington University, EE.UU.
      • Iñigo Lopez-Gazpio, Universidad del País Vasco, España
      • Lucia Specia, University of Sheffield, Reino UnidoUU

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Compilatio (Francia), Hitachi (Japón), MITRE Corporation (EE.UU.), y National Information Processing Institute (Polonia).

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 02/09/2016: Datos de trial disponibles
      • 24/10/2016: Datos de entrenamiento disponibles
      • 09/01/2017: Inicio de evaluación
      • 30/01/2017: Final de evaluación
      • 06/02/2017: Resultados publicados
      • 27/02/2017: Envío de artículos
      • 03/04/2017: Notificaciones
      • 17/04/2017: Versión final de artículos

  • Número de participantes

    • 53 equipos

  • Número de participantes de España

    • 0

  • Dominio

    • Stanford Natural Language Inference (SNLI) corpus: originalmente, leyendas de imagen

  • Idiomas

    • Español, inglés, árabe y turco.

Datos

Datos de entrenamiento
Distribuido como CSV.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Pearson correlation con gold labels

Rendimiento
  • Tarea 1: 0,86
  • Tarea 2: 0,81

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

84

Resultados con los rankings

Daniel Cer, Mona Diab, Eneko Agirre, Inigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). August 2017, pp. 1-14.

http://www.aclweb.org/anthology/S17-2001

Volumen de publicación

Proceedings of the 11th International Workshop on Semantic Evaluations (SemEval-2017). Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • Pearson correlation con gold labels

  • Rendimiento

      • Tarea 1: 0,86
      • Tarea 2: 0,81

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 84

  • Resultados con los rankings

    • Daniel Cer, Mona Diab, Eneko Agirre, Inigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). August 2017, pp. 1-14.

      http://www.aclweb.org/anthology/S17-2001

  • Volumen de publicación

    • Proceedings of the 11th International Workshop on Semantic Evaluations (SemEval-2017). Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email