Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

IberEval 2018 - Disability annotation on documents from the biomedical domain (DIANN)

Campaña

Nombre de la campaña

Nombre de la tarea

Disability annotation on documents from the biomedical domain (DIANN)

Tipo de tarea

Dos tareas: Disability recognition, Negated disability recognition

Descripción de la tarea

El objetivo principal de la tarea es la anotación de discapacidades.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Hermenegildo Fabregat, UNED y IMIENS, Escuela Nacional de Sanidad, España
  • Juan Martínez-Romo, UNED y IMIENS, Escuela Nacional de Sanidad, España
  • Lourdes Araujo, UNED y IMIENS, Escuela Nacional de Sanidad, España

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 15/03/2018: Versión de prueba
  • 15/04/ 2018: Datos de prueba disponibles
  • 03/052018: Fin del período de evaluación
  • 15/05/2018: Resultados publicados
  • 01/062018: Fin del plazo para la recepción de artículos
  • 15/06/2018: Publicación de los artículos
  • 29/06/2018: Artículos y resúmenes disponible
  • 18/09/2018: IberEval en la SEPLN

Número de participantes

8

Número de participantes de España

8        

Dominio

Sanidad (dominio médico)

Idiomas

Español e Inglés

  • Nombre de la campaña

  • Nombre de la tarea

    • Disability annotation on documents from the biomedical domain (DIANN)

  • Tipo de tarea

    • Dos tareas: Disability recognition, Negated disability recognition

  • Descripción de la tarea

    • El objetivo principal de la tarea es la anotación de discapacidades.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Hermenegildo Fabregat, UNED y IMIENS, Escuela Nacional de Sanidad, España
      • Juan Martínez-Romo, UNED y IMIENS, Escuela Nacional de Sanidad, España
      • Lourdes Araujo, UNED y IMIENS, Escuela Nacional de Sanidad, España

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 15/03/2018: Versión de prueba
      • 15/04/ 2018: Datos de prueba disponibles
      • 03/052018: Fin del período de evaluación
      • 15/05/2018: Resultados publicados
      • 01/062018: Fin del plazo para la recepción de artículos
      • 15/06/2018: Publicación de los artículos
      • 29/06/2018: Artículos y resúmenes disponible
      • 18/09/2018: IberEval en la SEPLN

  • Número de participantes

    • 8

  • Número de participantes de España

    • 8        

  • Dominio

    • Sanidad (dominio médico)

  • Idiomas

    • Español e Inglés

Datos

Datos de entrenamiento

Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

  • Datos de entrenamiento

    • Distribuido como XML

  • Derecho de redistribución de datos

    • Sólo para investigación

  • Enlace a datasets

Resultados

Métrica de evaluación

F1 score

Rendimiento
  • Disability recognition: 0,85 (español), 0,88 (inglés)
  • Negated disability recognition: 0,9 (español), 0,95 (inglés)

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

37

Resultados con los rankings

Hermenegildo Fabregat, Juan Martínez-Romo, Lourdes Araujo. Overview of the DIANN Task: Disability Annotation Task. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.1-14, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-diann-task.pdf [PDF]

Volumen de publicación

Vol. 2150, ceur-ws.org

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • F1 score

  • Rendimiento

      • Disability recognition: 0,85 (español), 0,88 (inglés)
      • Negated disability recognition: 0,9 (español), 0,95 (inglés)

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 37

  • Resultados con los rankings

    • Hermenegildo Fabregat, Juan Martínez-Romo, Lourdes Araujo. Overview of the DIANN Task: Disability Annotation Task. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.1-14, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

      http://ceur-ws.org/Vol-2150/overview-diann-task.pdf [PDF]

  • Volumen de publicación

    • Vol. 2150, ceur-ws.org

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email