PAN 2016 @ CLEF

Nombre de la tarea

Author Profiling: Age and Gender Identification in Cross-Genre Evaluation

Tipo de tarea

Evaluación de sistemas de clasificación automática (edad y sexo)

Descripción de la tarea

La tarea consiste en identificar de manera automática el sexo y la edad de autores de blogs, social media, ensayos y revisiones habiendo aprendido los modelos con textos de Twitter.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2016- https://pan.webis.de/clef16/pan16-web/author-profiling.html

Organizadores

• Francisco Rangel - Autoritas, España
• Paolo Rosso - Universitat Politècnica de València, España
• Martin Potthast - Bauhaus-Universität Weimar, Alemania
• Benno Stein - Bauhaus-Universität Weimar, Alemania
• Ben Verhoeven - University of Anwerp, Bélgica
• Walter Daelemans - University of Anwerp, Bélgica

Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario

• 05-08/09/2016: Conferencia
• 01/03/2016: Early birds
• 29/04/2016: Envío de softwares
• 13/05/2016: Notificación de resultados
• 25/05/2016: Envío de artículos
• 24/07/2016: Registro a la conferencia

Número de participantes

22 equipos (~70personas)

Número de participantes de España

6 personas en 3 equipos

Dominio

Diferentes medios sociales sin acotar a un dominio concreto, excepto en el caso de las revisiones de hotel.

Idiomas

• lnglés
• Español 
• Holandés

Datos de entrenamiento

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

• https://www.uni-weimar.de/medien/webis/corpora/corpus-pan-labs-09-today/pan-15/pan15-data/pan15-author-profiling-training-dataset-2015-04-23-password-protected.zip [ZIP]
• https://s3.amazonaws.com/autoritas.pan/pan-ap2015-test.zip [ZIP]

Métrica de evaluación

Accuracy

Rendimiento

Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

104

Resultados con los rankings

Rangel F., Rosso P., Verhoeven B., Daelemans W., Potthast M., Stein B. (2016). Overview of the 4th Author Profiling Task at PAN 2016: Cross-Genre Evaluations. In: Balog K., Cappellato L., Ferro N., Macdonald C. (Eds.) CLEF 2016 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 1609, pp. 750-784

http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF]

Volumen de publicación

vol. 1609, CEUR-WS.org (108 citas a 15/10/2018)

Gestión web de usuarios

Sí

Atención a participantes

Email: pan@webis.de

Google Groups