Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Senseval 3 - Lexical sample task

Campaña

Nombre de la campaña

Senseval-3: Third International Workshop on Evaluating Word Sense Disambiguation Systems

Nombre de la tarea

Lexical sample task

Tipo de tarea

Desambiguación semántica

Descripción de la tarea

Crear un marco para la evaluación de sistemas que realizan desambiguación del sentido de la palabra. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2004

Organizadores
  • Eneko Agirre, Universidad del País Vasco, España
  • Lluis Marquez, Universitat Politècnica de Catalunya, España
  • M. Antonia Marti, Universitat de Barcelona, España
  • Mariona Taule, Universitat de Barcelona, España

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Sinequa SAS (Francia); Language Computer Corporation y CL Research  (EE.UU.).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
-

Número de participantes

21

Número de participantes de España

4

Dominio

Noticias

Idiomas

Español, Catalán, Euskera + otros idiomas

  • Nombre de la campaña

    • Senseval-3: Third International Workshop on Evaluating Word Sense Disambiguation Systems

  • Nombre de la tarea

    • Lexical sample task

  • Tipo de tarea

    • Desambiguación semántica

  • Descripción de la tarea

    • Crear un marco para la evaluación de sistemas que realizan desambiguación del sentido de la palabra. 

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

    • 2004

  • Organizadores

      • Eneko Agirre, Universidad del País Vasco, España
      • Lluis Marquez, Universitat Politècnica de Catalunya, España
      • M. Antonia Marti, Universitat de Barcelona, España
      • Mariona Taule, Universitat de Barcelona, España

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Sinequa SAS (Francia); Language Computer Corporation y CL Research  (EE.UU.).

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

    • -

  • Número de participantes

    • 21

  • Número de participantes de España

    • 4

  • Dominio

    • Noticias

  • Idiomas

    • Español, Catalán, Euskera + otros idiomas

Datos

Datos de entrenamiento

Distribuido como XML.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

F1 score y Recall para textos vascos

Rendimiento
  • CAT: 0,85
  • ES: 0,84
  • EU: 70,4%

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

-

Resultados con los rankings

Eneko Agirre, Itziar Aldabe, Mikel Lersundi, David Martinez, Eli Pociello, Larraitz Uria.The Basque lexical-sample task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004.

http://aclweb.org/anthology/W/W04/W04-0801.pdf

L. Màrquez, M. Taulé, M.A. Martí, M. García, F.J. Real, and D. Ferres. Senseval-3: The Catalan Lexical Sample Task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004.

http://aclweb.org/anthology/W/W04/W04-0836.pdf

L. Màrquez, M. Taulé, M.A. Martí, M. Garcíıa, N. Artigas, F.J. Real, D. Ferres. Senseval-3: The Spanish Lexical Sample Task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004

http://aclweb.org/anthology/W/W04/W04-0806.pdf

Volumen de publicación

Linguistics Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • F1 score y Recall para textos vascos

  • Rendimiento

      • CAT: 0,85
      • ES: 0,84
      • EU: 70,4%

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • -

  • Resultados con los rankings

    • Eneko Agirre, Itziar Aldabe, Mikel Lersundi, David Martinez, Eli Pociello, Larraitz Uria.The Basque lexical-sample task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004.

      http://aclweb.org/anthology/W/W04/W04-0801.pdf

      L. Màrquez, M. Taulé, M.A. Martí, M. García, F.J. Real, and D. Ferres. Senseval-3: The Catalan Lexical Sample Task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004.

      http://aclweb.org/anthology/W/W04/W04-0836.pdf

      L. Màrquez, M. Taulé, M.A. Martí, M. Garcíıa, N. Artigas, F.J. Real, D. Ferres. Senseval-3: The Spanish Lexical Sample Task. Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. July 2004

      http://aclweb.org/anthology/W/W04/W04-0806.pdf

  • Volumen de publicación

    • Linguistics Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email