PAN 2016 - Perfilado de autores
Campaña
Nombre de la campaña | ||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Nombre de la tarea |
Author Profiling: Age and Gender Identification in Cross-Genre Evaluation |
|||||||||||||||||||
Tipo de tarea |
Evaluación de sistemas de clasificación automática (edad y sexo) |
|||||||||||||||||||
Descripción de la tarea |
La tarea consiste en identificar de manera automática el sexo y la edad de autores de blogs, social media, ensayos y revisiones habiendo aprendido los modelos con textos de Twitter. |
|||||||||||||||||||
Categoría de la tarea |
Procesamiento del lenguaje natural |
|||||||||||||||||||
Fecha evento / edición |
2016- https://pan.webis.de/clef16/pan16-web/author-profiling.html |
|||||||||||||||||||
Organizadores |
|
|||||||||||||||||||
Grupos destinatarios |
Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria |
|||||||||||||||||||
Elegibilidad |
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) |
|||||||||||||||||||
Calendario |
|
|||||||||||||||||||
Número de participantes |
22 equipos (~70 personas) |
|||||||||||||||||||
Número de participantes de España |
6 personas en 3 equipos |
|||||||||||||||||||
Dominio |
Diferentes medios sociales sin acotar a un dominio concreto, excepto en el caso de las revisiones de hotel. |
|||||||||||||||||||
Idiomas |
|
Datos
Datos de entrenamiento | Reviews | |||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Autores en inglés | 428 | |||||||||||||||||||
Autores en español | 250 | |||||||||||||||||||
Autores en holandés | 384 | |||||||||||||||||||
Distribuido como XML |
||||||||||||||||||||
Derecho de redistribución de datos |
Sólo para investigación |
|||||||||||||||||||
Enlace a datasets |
Resultados
Métrica de evaluación |
Accuracy |
|||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Rendimiento |
Social media |
Blogs |
Ensayos y revisiones |
|||||||||||||||||
Sexo |
Inglés: 53,75% Español: 70,31% |
Inglés: 75,64% Español: 73,21% |
Holandés56,80% | |||||||||||||||||
Edad |
Inglés: 38,79% Español: 35,94% |
Inglés: 58,97% Español: 51,79% |
- | |||||||||||||||||
Combinado |
Inglés: 20,98% Español: 20,31% |
Inglés: 39,74% Español: 42,86% |
- | |||||||||||||||||
Disponibilidad del código |
En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes) |
|||||||||||||||||||
Tipo de ejecución |
Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA |
|||||||||||||||||||
Número total de resultados enviados |
104 |
|||||||||||||||||||
Resultados con los rankings |
Rangel F., Rosso P., Verhoeven B., Daelemans W., Potthast M., Stein B. (2016). Overview of the 4th Author Profiling Task at PAN 2016: Cross-Genre Evaluations. In: Balog K., Cappellato L., Ferro N., Macdonald C. (Eds.) CLEF 2016 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 1609, pp. 750-784 http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF] |
|||||||||||||||||||
Volumen de publicación |
vol. 1609, CEUR-WS.org (108 citas a 15/10/2018) |
|||||||||||||||||||
Gestión web de usuarios |
Sí |
|||||||||||||||||||
Atención a participantes |
Email: pan@webis.de Google Groups |