PAN 2014 - Perfilado de autores

Campaña

Nombre de la campaña

PAN 2014 @ CLEF

Nombre de la tarea

Author Profiling: Age and Gender Identification in Multi-Genre Texts

Tipo de tarea

Evaluación de sistemas de clasificación automática (edad y sexo)

Descripción de la tarea

Dado un texto escrito en diferentes géneros o medios sociales (Twitter, Social Media, Blogs, Reviews), la tarea consiste en identificar de manera automática el sexo y la edad de su autor

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2014 - https://pan.webis.de/clef14/pan14-web/author-profiling.html

Organizadores
  • Francisco Rangel - Autoritas, España
  • Paolo Rosso - Universitat Politècnica de València, España
  • Irina Chugur - Universidad Nacional de Educación a Distancia, España
  • Martin Potthast - Bauhaus-Universität Weimar, Alemania
  • Martin Trenkmann - Bauhaus-Universität Weimar, Alemania
  • Benno Stein - Bauhaus-Universität Weimar, Alemania
  • Ben Verhoeven - University of Anwerp, Bélgica
  • Walter Daelemans - University of Anwerp, Bélgica 
Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) 

Calendario
  • 01/03/2014: Early birds
  • 01/05/2014: Envío de softwares
  • 24/05/2014: Notificación de resultados
  • 14/06/2014: Envío de artículos
  • 26/07/2014: Registro a la conferencia
  • 15-18/09/2014: Conferencia 
Número de participantes

10 equipos (~30 personas)

Número de participantes de España

2 personas en 1 equipo

Dominio

Medios sociales sin acotar a un dominio concreto, excepto las revisiones que son de hoteles 

Idiomas
  • lnglés
  • Español

Datos

Datos de entrenamiento   Twitter Blogs Reviews
Autores en inglés 306 147 4.160
Autores en español 178 88 -

Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Accuracy

Rendimiento

 

Social media

Twitter

Blogs

Reviews

Sexo

Inglés: 53,85%

Español: 68,37%

Inglés: 73,38%

Español: 65,56%

Inglés: 67,95%

Español: 58,93%

Inglés: 72,59%

Edad

Inglés: 36,52%

Español: 48,94%

Inglés: 50,65%

Español: 61,11%

Inglés: 46,15%

Español: 48,21%

Inglés: 35,02% 
Combinado

Inglés: 20,62%

Español: 33,57%

Inglés: 35,71%

Español: 43,33%

Inglés: 30,77%

Español: 32,14%

Inglés: 25,64% 
Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

110

Resultados con los rankings

Rangel, F., Rosso, P., Chugur, I., Potthast, M., Trenkmann, M., Stein, B., Verhoeven, B., Daelemans, W. Overview of the 2nd AuthorProfiling Task at PAN 2014. In: Cappellato L., Ferro N., Halvey M., Kraaij W. (Eds.) CLEF 2014 Labs and Workshops, Notebook Papers. CEUR-WS.org, vol. 1180, pp. 898-827

http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF] 

Volumen de publicación

vol. 1180, CEUR-WS.org (102 citas a 15/10/2018)

Gestión web de usuarios

Atención a participantes

Email: pan@webis.de

Google Groups