Semseval 2007 - Multilevel semantic annotation

Compartir

Campaña

Nombre de la campaña

SemEval-2007: Fourth International Workshop on Semantic Evaluations
Nombre de la tarea

Task 9: Multilevel Semantic Annotation of Catalan and Spanish
Tipo de tarea

Anotación  semántica (a diferentes niveles).

  • Noun Sense Disambiguation (NSD)
  • Named Entity Recognition (NER)
  • Semantic Role Labeling (SRL)
tarea

Evaluar y comparar sistemas automáticos para la anotación de varios niveles lingüísticos semánticos para catalán y español. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2007
Organizadores
  • Lluis Marquez, Universitat Politècnica de Catalunya, Españaa
  • M. Antònia Martí, Universitat de Barcelona, España
  • Luis Villarejo, Universitat Politècnica de Catalunya, España
  • Mariona Taule, Universitat de Barcelona, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 10/01/2007: Datos de trial disponibles
  • 18/02/2007: Período de evaluación extendido a 4 semanas.
  • 19/02/2007: Registro abierto
  • 23/02/2007: Publicación de datos de entrenamiento y test
  • 26/02/2007: Comienza el periodo de evaluación
  • 09/03/2007: Versión beta del anotador oficial disponible
  • 21/03/2007: Resultados NSD
  • 12/04/2007: Resultados NER.
Número de participantes

2
Número de participantes de España

1
Dominio Múltiples recursos
Idiomas

Español y Catalán.

Datos

Datos de entrenamiento

Distribuido como CSV.
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://www.lsi.upc.edu/~nlp/semeval/msacs_systems.html

Resultados

Métrica de evaluación

F1 score
Rendimiento
  • NSD: 0,79.(catalán), 0,68.(español)
  • NER: 0,72 (catalán), 0,65 (español)
  • SRL:0,89 (catalán), 0,84 (español)
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

48
Resultados con los rankings

Lluís Màrquez, Lluis Villarejo, M. A. Martí, Mariona Taulé. Task 09: Multilevel Semantic Annotation of Catalan and Spanish. Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). June 2007.

http://aclweb.org/anthology/S/S07/S07-1008.pdf
Volumen de publicación

Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). Association for Computational Linguistics.
Gestión web de usuarios

Sí
Atención a participantes

Email