Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Semseval 2007 - Multilevel semantic annotation

Campaña

Nombre de la campaña

SemEval-2007: Fourth International Workshop on Semantic Evaluations

Nombre de la tarea

Task 9: Multilevel Semantic Annotation of Catalan and Spanish

Tipo de tarea

Anotación  semántica (a diferentes niveles).

  • Noun Sense Disambiguation (NSD)
  • Named Entity Recognition (NER)
  • Semantic Role Labeling (SRL)

Descripción de la tarea

Evaluar y comparar sistemas automáticos para la anotación de varios niveles lingüísticos semánticos para catalán y español.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Lluis Marquez, Universitat Politècnica de Catalunya, España
  • M. Antònia Martí, Universitat de Barcelona, España
  • Luis Villarejo, Universitat Politècnica de Catalunya, España
  • Mariona Taule, Universitat de Barcelona, España

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario
  • 10/01/2007: Datos de trial disponibles
  • 18/02/2007: Período de evaluación extendido a 4 semanas.
  • 19/02/2007: Registro abierto
  • 23/02/2007: Publicación de datos de entrenamiento y test
  • 26/02/2007: Comienza el periodo de evaluación
  • 09/03/2007: Versión beta del anotador oficial disponible
  • 21/03/2007: Resultados NSD
  • 12/04/2007: Resultados NER.

Número de participantes

2

Número de participantes de España

1

Dominio

Múltiples recursos

Idiomas

Español y Catalán.

  • Nombre de la campaña

    • SemEval-2007: Fourth International Workshop on Semantic Evaluations

  • Nombre de la tarea

    • Task 9: Multilevel Semantic Annotation of Catalan and Spanish

  • Tipo de tarea

    • Anotación  semántica (a diferentes niveles).

      • Noun Sense Disambiguation (NSD)
      • Named Entity Recognition (NER)
      • Semantic Role Labeling (SRL)

  • Descripción de la tarea

    • Evaluar y comparar sistemas automáticos para la anotación de varios niveles lingüísticos semánticos para catalán y español.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Lluis Marquez, Universitat Politècnica de Catalunya, España
      • M. Antònia Martí, Universitat de Barcelona, España
      • Luis Villarejo, Universitat Politècnica de Catalunya, España
      • Mariona Taule, Universitat de Barcelona, España

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

  • Calendario

      • 10/01/2007: Datos de trial disponibles
      • 18/02/2007: Período de evaluación extendido a 4 semanas.
      • 19/02/2007: Registro abierto
      • 23/02/2007: Publicación de datos de entrenamiento y test
      • 26/02/2007: Comienza el periodo de evaluación
      • 09/03/2007: Versión beta del anotador oficial disponible
      • 21/03/2007: Resultados NSD
      • 12/04/2007: Resultados NER.

  • Número de participantes

    • 2

  • Número de participantes de España

    • 1

  • Dominio

    • Múltiples recursos

  • Idiomas

    • Español y Catalán.

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

F1 score

Rendimiento
  • NSD: 0,79.(catalán), 0,68.(español)
  • NER: 0,72 (catalán), 0,65 (español)
  • SRL:0,89 (catalán), 0,84 (español)

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

48

Resultados con los rankings

Lluís Màrquez, Lluis Villarejo, M. A. Martí, Mariona Taulé. Task 09: Multilevel Semantic Annotation of Catalan and Spanish. Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). June 2007.

http://aclweb.org/anthology/S/S07/S07-1008.pdf

Volumen de publicación

Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • F1 score

  • Rendimiento

      • NSD: 0,79.(catalán), 0,68.(español)
      • NER: 0,72 (catalán), 0,65 (español)
      • SRL:0,89 (catalán), 0,84 (español)

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 48

  • Resultados con los rankings

    • Lluís Màrquez, Lluis Villarejo, M. A. Martí, Mariona Taulé. Task 09: Multilevel Semantic Annotation of Catalan and Spanish. Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). June 2007.

      http://aclweb.org/anthology/S/S07/S07-1008.pdf

  • Volumen de publicación

    • Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007). Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email