IberEval 2018 - Disability annotation on documents from the biomedical domain (DIANN)

Compartir

Campaña

Nombre de la campaña

Ibereval 2018 @ SEPLN
Nombre de la tarea

Disability annotation on documents from the biomedical domain (DIANN)
Tipo de tarea

Dos tareas: Disability recognition, Negated disability recognition  
Descripción de la tarea

El objetivo principal de la tarea es la anotación de discapacidades. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2018 - http://nlp.uned.es/diann/
Organizadores
  • Hermenegildo Fabregat, UNED y IMIENS, Escuela Nacional de Sanidad, España
  • Juan Martínez-Romo, UNED y IMIENS, Escuela Nacional de Sanidad, España
  • Lourdes Araujo, UNED y IMIENS, Escuela Nacional de Sanidad, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 15/03/2018: Versión de prueba
  • 15/04/ 2018: Datos de prueba disponibles
  • 03/052018: Fin del período de evaluación
  • 15/05/2018: Resultados publicados
  • 01/062018: Fin del plazo para la recepción de artículos
  • 15/06/2018: Publicación de los artículos
  • 29/06/2018: Artículos y resúmenes disponible
  • 18/09/2018: IberEval en la SEPLN
Número de participantes

8
Número de participantes de España

8
Dominio

Sanidad (dominio médico)
Idiomas

Español e Inglés

Datos

Datos de entrenamiento

Distribuido como XML
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://nlp.uned.es/diann/#data

Resultados

Métrica de evaluación

F1 score
Rendimiento
  • Disability recognition: 0,85 (español), 0,88 (inglés)
  • Negated disability recognition: 0,9 (español), 0,95 (inglés)
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

37
Resultados con los rankings

Hermenegildo Fabregat, Juan Martínez-Romo, Lourdes Araujo. Overview of the DIANN Task: Disability Annotation Task. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.1-14, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-diann-task.pdf [PDF] 
Volumen de publicación

Vol. 2150, ceur-ws.org
Gestión web de usuarios

Sí
Atención a participantes

Email