IberEval 2018 - Biomedical Abbreviation Recognition and Resolution 2nd Edition (BARR2)
Campaña
|
Nombre de la campaña |
|
|
Nombre de la tarea |
Biomedical Abbreviation Recognition and Resolution 2nd Edition (BARR2) |
|
Tipo de tarea |
Tareas de clasificación: Abbreviation-definitions pairs, Abbreviation recognition and resolution. |
|
Descripción de la tarea |
Evaluar estrategias para detectar automáticamente menciones de abreviaturas en el texto en ejecución. |
|
Categoría de la tarea |
Procesamiento del lenguaje natural |
|
Fecha evento / edición |
2018 - http://temu.bsc.es/BARR2/ |
|
Organizadores |
|
|
Grupos destinatarios |
Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Hospital Italiano de Buenos Aires (Argentina) y HUFA, Vicomtech, I+D Lanik S.A (España). |
|
Elegibilidad |
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). |
|
Calendario |
|
|
Número de participantes |
5 |
|
Número de participantes de España |
4 |
|
Dominio |
Sanidad (dominio médico): casos clínicos (Scientific Electronic Library Online)
|
|
Idiomas |
Español |
-
Nombre de la campaña
-
-
Nombre de la tarea
-
Biomedical Abbreviation Recognition and Resolution 2nd Edition (BARR2)
-
-
Tipo de tarea
-
Tareas de clasificación: Abbreviation-definitions pairs, Abbreviation recognition and resolution.
-
-
Descripción de la tarea
-
Evaluar estrategias para detectar automáticamente menciones de abreviaturas en el texto en ejecución.
-
-
Categoría de la tarea
-
Procesamiento del lenguaje natural
-
-
Fecha evento / edición
-
2018 - http://temu.bsc.es/BARR2/
-
-
Organizadores
-
- Ander Intxaurrondo, Centro Nacional de Investigaciones Oncologicas, España
- Montserrat Marimon, Barcelona Supercomputing Center, España
- Aitor Gonzalez-Agirre, Centro Nacional de Investigaciones Oncologicas y Barcelona Supercomputing Center, España
- Jose Antonio López Martín, Hospital 12 de Octubre, Madrid, España
- Jesús Santamaría, Centro Nacional de Investigaciones Oncologicas, España
- Marta Villegas, Centro Nacional de Investigaciones Oncologicas y Barcelona Supercomputing Center, España
- Martin Krallinger, Centro Nacional de Investigaciones Oncologicas, España
-
-
Grupos destinatarios
-
Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Hospital Italiano de Buenos Aires (Argentina) y HUFA, Vicomtech, I+D Lanik S.A (España).
-
-
Elegibilidad
-
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
-
-
Calendario
-
- 20/04/2018: Sample data
- 17/05/2018: Training corpus
- 25/05/2018: Development corpus
- 28/05/2018: background and test corpora
- 12/06/2018: Envío resultados participantes
- 21/06/2018: Publicaciones de los resultados
- 01/07/2018: Envío working notes
- 10/07/2018: Notificación revisión working notes a los autores
- 18/07/2018: Envío camera ready working notes
- 18/09/2018: IberEval en la SEPLN
-
-
Número de participantes
-
5
-
-
Número de participantes de España
-
4
-
-
Dominio
-
Sanidad (dominio médico): casos clínicos (Scientific Electronic Library Online)
-
-
Idiomas
-
Español
-
Datos
|
Datos de entrenamiento |
Formato txt (UTF-8) |
|
Derecho de redistribución de datos |
Sólo para investigación |
|
Enlace a datasets |
-
Datos de entrenamiento
-
Formato txt (UTF-8)
-
-
Derecho de redistribución de datos
-
Sólo para investigación
-
-
Enlace a datasets
-
Resultados
|
Métrica de evaluación |
F1 score |
|
Rendimiento |
|
|
Disponibilidad del código |
No |
|
Tipo de ejecución |
Local |
|
Número total de resultados enviados |
26 |
|
Resultados con los rankings |
Ander Intxaurrondo, Montserrat Marimon, Aitor Gonzalez-Agirre, Jose Antonio Lopez-Martin, Heidy Rodriguez, Jesus Santamaria, Marta Villegas, Martin Krallinger. Finding Mentions of Abbreviations and Their Definitions in Spanish Clinical Cases: The BARR2 Shared Task Evaluation Results. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.280-289, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018. |
|
Volumen de publicación |
Vol. 2150, ceur-ws.org |
|
Gestión web de usuarios |
Sí |
|
Atención a participantes |
|
-
Métrica de evaluación
-
F1 score
-
-
Rendimiento
-
- Abbreviation mention: 0,88
- Abbreviation relation: 0,83
-
-
Disponibilidad del código
-
No
-
-
Tipo de ejecución
-
Local
-
-
Número total de resultados enviados
-
26
-
-
Resultados con los rankings
-
Ander Intxaurrondo, Montserrat Marimon, Aitor Gonzalez-Agirre, Jose Antonio Lopez-Martin, Heidy Rodriguez, Jesus Santamaria, Marta Villegas, Martin Krallinger. Finding Mentions of Abbreviations and Their Definitions in Spanish Clinical Cases: The BARR2 Shared Task Evaluation Results. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.280-289, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.
-
-
Volumen de publicación
-
Vol. 2150, ceur-ws.org
-
-
Gestión web de usuarios
-
Sí
-
-
Atención a participantes
-
Email
-
Política de cookies
Este sitio web utiliza cookies propias y de tercreos para ofrecer un mejor servicio. Si continúa naveando consideramos que acepta su uso.