Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Senseval 2 - Lexical sample task

Campaña

Nombre de la campaña

Senseval-2: Second International Workshop on Evaluating Word Sense Disambiguation Systems

Nombre de la tarea

Lexical sample task

Tipo de tarea

Desambiguación semántica

Descripción de la tarea

Crear un marco para la evaluación de sistemas que realizan desambiguación del sentido de la palabra. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2001

Organizadores
  • Scott Cotton, University of Pennsylvania, EE.UU.
  • Phil Edmonds,  Sharp Laboratories of Europe, Reino Unido
  • Adam Kilgarriff, ITRI, University of Brighton, Reino Unido
  • Martha Palmer, University of Pennsylvania, EE.UU

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Sinequa (Francia); WhizBang! Labs-Research y CL Research (EE.UU).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
-

Número de participantes

34

Número de participantes de España

4

Dominio

-

Idiomas

Español, Euskera + otros idiomas

  • Nombre de la campaña

    • Senseval-2: Second International Workshop on Evaluating Word Sense Disambiguation Systems

  • Nombre de la tarea

    • Lexical sample task

  • Tipo de tarea

    • Desambiguación semántica

  • Descripción de la tarea

    • Crear un marco para la evaluación de sistemas que realizan desambiguación del sentido de la palabra. 

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

    • 2001

  • Organizadores

      • Scott Cotton, University of Pennsylvania, EE.UU.
      • Phil Edmonds,  Sharp Laboratories of Europe, Reino Unido
      • Adam Kilgarriff, ITRI, University of Brighton, Reino Unido
      • Martha Palmer, University of Pennsylvania, EE.UU

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Sinequa (Francia); WhizBang! Labs-Research y CL Research (EE.UU).

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

    • -

  • Número de participantes

    • 34

  • Número de participantes de España

    • 4

  • Dominio

    • -

  • Idiomas

    • Español, Euskera + otros idiomas

Datos

Datos de entrenamiento

Formato XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

-

  • Datos de entrenamiento

    • Formato XML

  • Derecho de redistribución de datos

    • Sólo para investigación

  • Enlace a datasets

    • -

Resultados

Métrica de evaluación

Precisión y recall 

Rendimiento
  • ES: 71,0%
  • EU: 75,7% 

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

93

Resultados con los rankings

Eneko Agirre, Elena Garcia, Mikel Lersundi, David Martinez, Eli Pociello. The Basque task: did systems perform in the upperbound?  Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, July 2001

http://aclweb.org/anthology/S01-1002

German Rigau, Mariona Taule, Ana Fernandez and Julio Gonzalo. Framework and Results for the Spanish SENSEVAL. Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, July 2001.

http://aclweb.org/anthology/S01-1010

Volumen de publicación

Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems. Association for Computational Linguistics

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • Precisión y recall 

  • Rendimiento

      • ES: 71,0%
      • EU: 75,7% 

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 93

  • Resultados con los rankings

    • Eneko Agirre, Elena Garcia, Mikel Lersundi, David Martinez, Eli Pociello. The Basque task: did systems perform in the upperbound?  Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, July 2001

      http://aclweb.org/anthology/S01-1002

      German Rigau, Mariona Taule, Ana Fernandez and Julio Gonzalo. Framework and Results for the Spanish SENSEVAL. Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, July 2001.

      http://aclweb.org/anthology/S01-1010

  • Volumen de publicación

    • Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems. Association for Computational Linguistics

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email