Senseval 2 - Lexical sample task

Compartir

Campaña

Nombre de la campaña

Senseval-2: Second International Workshop on Evaluating Word Sense Disambiguation Systems
Nombre de la tarea

Lexical sample task
Tipo de tarea

Desambiguación semántica
tarea

Crear un marco para la evaluación de sistemas que realizan desambiguación del sentido de la palabra. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2001
Organizadores
  • Scott Cotton, University of Pennsylvania, EE.UU.
  • Phil Edmonds,  Sharp Laboratories of Europe, Reino Unido
  • Adam Kilgarriff, ITRI, University of Brighton, Reino Unido
  • Martha Palmer, University of Pennsylvania, EE.UU
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Sinequa (Francia); WhizBang! Labs-Research y CL Research (EE.UU).
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario -
Número de participantes

34
Número de participantes de España

4
Dominio -
Idiomas

Español, Euskera + otros idiomas

Datos

Datos de entrenamiento

Distribuido como XML.
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

-

Resultados

Métrica de evaluación

Precisión y recall 
Rendimiento
  • ES: 71,0%
  • EU: 75,7% 
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

93
Resultados con los rankings

Eneko Agirre, Elena Garcia, Mikel Lersundi, David Martinez, Eli Pociello. The Basque task: did systems perform in the upperbound?  Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, July 2001

http://aclweb.org/anthology/S01-1002

German Rigau, Mariona Taule, Ana Fernandez and Julio Gonzalo. Framework and Results for the Spanish SENSEVAL. Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, July 2001.

http://aclweb.org/anthology/S01-1010
Volumen de publicación

Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems. Association for Computational Linguistics
Gestión web de usuarios

Sí
Atención a participantes

Email