PAN 2016 - Perfilado de autores
Campaña
| Nombre de la campaña | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Nombre de la tarea |
Author Profiling: Age and Gender Identification in Cross-Genre Evaluation |
|||||||||||||||||||
| Tipo de tarea |
Evaluación de sistemas de clasificación automática (edad y sexo) |
|||||||||||||||||||
| Descripción de la tarea |
La tarea consiste en identificar de manera automática el sexo y la edad de autores de blogs, social media, ensayos y revisiones habiendo aprendido los modelos con textos de Twitter. |
|||||||||||||||||||
| Categoría de la tarea |
Procesamiento del lenguaje natural |
|||||||||||||||||||
| Fecha evento / edición |
2016- https://pan.webis.de/clef16/pan16-web/author-profiling.html |
|||||||||||||||||||
| Organizadores |
|
|||||||||||||||||||
| Grupos destinatarios |
Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria |
|||||||||||||||||||
| Elegibilidad |
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) |
|||||||||||||||||||
| Calendario |
|
|||||||||||||||||||
| Número de participantes |
22 equipos (~70 personas) |
|||||||||||||||||||
| Número de participantes de España |
6 personas en 3 equipos |
|||||||||||||||||||
| Dominio |
Diferentes medios sociales sin acotar a un dominio concreto, excepto en el caso de las revisiones de hotel. |
|||||||||||||||||||
| Idiomas |
|
|||||||||||||||||||
Datos
| Datos de entrenamiento | Reviews | |||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Autores en inglés | 428 | |||||||||||||||||||
| Autores en español | 250 | |||||||||||||||||||
| Autores en holandés | 384 | |||||||||||||||||||
|
Distribuido como XML |
||||||||||||||||||||
| Derecho de redistribución de datos |
Sólo para investigación |
|||||||||||||||||||
| Enlace a datasets | ||||||||||||||||||||
Resultados
| Métrica de evaluación |
Accuracy |
|||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Rendimiento |
Social media |
Blogs |
Ensayos y revisiones |
|||||||||||||||||
| Sexo |
Inglés: 53,75% Español: 70,31% |
Inglés: 75,64% Español: 73,21% |
Holandés56,80% | |||||||||||||||||
| Edad |
Inglés: 38,79% Español: 35,94% |
Inglés: 58,97% Español: 51,79% |
- | |||||||||||||||||
| Combinado |
Inglés: 20,98% Español: 20,31% |
Inglés: 39,74% Español: 42,86% |
- | |||||||||||||||||
| Disponibilidad del código |
En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes) |
|||||||||||||||||||
| Tipo de ejecución |
Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA |
|||||||||||||||||||
| Número total de resultados enviados |
104 |
|||||||||||||||||||
| Resultados con los rankings |
Rangel F., Rosso P., Verhoeven B., Daelemans W., Potthast M., Stein B. (2016). Overview of the 4th Author Profiling Task at PAN 2016: Cross-Genre Evaluations. In: Balog K., Cappellato L., Ferro N., Macdonald C. (Eds.) CLEF 2016 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 1609, pp. 750-784 http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF] |
|||||||||||||||||||
| Volumen de publicación |
vol. 1609, CEUR-WS.org (108 citas a 15/10/2018) |
|||||||||||||||||||
| Gestión web de usuarios |
Sí |
|||||||||||||||||||
| Atención a participantes |
Email: pan@webis.de Google Groups |
|||||||||||||||||||