Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Semseval 2018 - Hypernym Discovery

Campaña

Nombre de la campaña

Nombre de la tarea

Task 9: Hypernym Discovery

Tipo de tarea

Extracción de entidades:

  • General-Purpose Hypernym Discovery
  • Domain-Specific Hypernym Discovery

Descripción de la tarea

Dado un término específico y un corpus, los participantes tienen que extraer la mayor cantidad posible de hipónimos adecuados.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Jose Camacho-Collados, Sapienza University of Rome, Italia
  • Claudio Delli Bovi, Sapienza University of Rome, Italia
  • Tommaso Pasini, Sapienza University of Rome, Italia
  • Roberto Navigli, Sapienza University of Rome, Italia
  • Vered Shwartz, Bar-Ilan University, Israel
  • Luis Espinosa-Anke, Universitat Pompeu Fabra, España
  • Sergio Oramas, Universitat Pompeu Fabra, España
  • Horacio Saggion, Universitat Pompeu Fabra, España
  • Enrico Santus, Singapore University, Singapúr

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Cognos Business Consulting S.R.L. (Rumanía), Alibaba Group (China) y Secret Sauce Partners (EE.UU.).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 21/08/2017: Datos de trail
  • 18/09/2017: Datos de entrenamiento disponibles
  • 08/01/2018: Datos de prueba. Inicio de evaluación
  • 29/01/2018: Final de evaluación
  • 05/03/2018: Envío de artículos
  • 23/03/2018: Revisiones
  • 02/04/2018: Notificaciones
  • 16/04/2018: Envío artículo final
  • 5-6/06/2018: SemEval

Número de participantes

11

Número de participantes de España

0        

Dominio

Texto de diversos dominios, para la segunda tarea, dominio médico (sanidad)

Idiomas

Inglés, italiano, español

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 9: Hypernym Discovery

  • Tipo de tarea

    • Extracción de entidades:

      • General-Purpose Hypernym Discovery
      • Domain-Specific Hypernym Discovery

  • Descripción de la tarea

    • Dado un término específico y un corpus, los participantes tienen que extraer la mayor cantidad posible de hipónimos adecuados.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Jose Camacho-Collados, Sapienza University of Rome, Italia
      • Claudio Delli Bovi, Sapienza University of Rome, Italia
      • Tommaso Pasini, Sapienza University of Rome, Italia
      • Roberto Navigli, Sapienza University of Rome, Italia
      • Vered Shwartz, Bar-Ilan University, Israel
      • Luis Espinosa-Anke, Universitat Pompeu Fabra, España
      • Sergio Oramas, Universitat Pompeu Fabra, España
      • Horacio Saggion, Universitat Pompeu Fabra, España
      • Enrico Santus, Singapore University, Singapúr

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Cognos Business Consulting S.R.L. (Rumanía), Alibaba Group (China) y Secret Sauce Partners (EE.UU.).

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 21/08/2017: Datos de trail
      • 18/09/2017: Datos de entrenamiento disponibles
      • 08/01/2018: Datos de prueba. Inicio de evaluación
      • 29/01/2018: Final de evaluación
      • 05/03/2018: Envío de artículos
      • 23/03/2018: Revisiones
      • 02/04/2018: Notificaciones
      • 16/04/2018: Envío artículo final
      • 5-6/06/2018: SemEval

  • Número de participantes

    • 11

  • Número de participantes de España

    • 0        

  • Dominio

    • Texto de diversos dominios, para la segunda tarea, dominio médico (sanidad)

  • Idiomas

    • Inglés, italiano, español

Datos

Datos de entrenamiento

Distribuido como CSV.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Mean Reciprocal Rank

Precision@k

Mean Average Precision

Rendimiento
  • General-Purpose Hypernym Discovery (español):
  • Mean Reciprocal Rank: 28,27
  • Precision@5: 20.39%
  • Mean Average Precision: 20,04

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

39

Resultados con los rankings

Camacho-Collados, Jose, Delli Bovi, Claudio, Espinosa-Anke, Luis, Oramas, Sergio, Pasini, Tommaso, Santus, Enrico, Shwartz, Vered, Navigli, Roberto, and Saggion, Horacio. SemEval-2018 Task 9: Hypernym Discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018), June 2018, pp. 712-724, New Orleans, Louisiana, June 5–6, 2018

http://aclweb.org/anthology/S18-1115

Volumen de publicación

Proceedings of The 12th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email y Google group

  • Métrica de evaluación

    • Mean Reciprocal Rank

      Precision@k

      Mean Average Precision

  • Rendimiento

      • General-Purpose Hypernym Discovery (español):
      • Mean Reciprocal Rank: 28,27
      • Precision@5: 20.39%
      • Mean Average Precision: 20,04

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 39

  • Resultados con los rankings

    • Camacho-Collados, Jose, Delli Bovi, Claudio, Espinosa-Anke, Luis, Oramas, Sergio, Pasini, Tommaso, Santus, Enrico, Shwartz, Vered, Navigli, Roberto, and Saggion, Horacio. SemEval-2018 Task 9: Hypernym Discovery. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018), June 2018, pp. 712-724, New Orleans, Louisiana, June 5–6, 2018

      http://aclweb.org/anthology/S18-1115

  • Volumen de publicación

    • Proceedings of The 12th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email y Google group