PAN 2015 - Perfilado de autores

Campaña



Nombre de la campaña	PAN 2015 @ CLEF
Nombre de la tarea	Author Profiling: Age, Gender and Personality Detection in Twitter
Tipo de tarea	Evaluación de sistemas de clasificación automática (edad, sexo y personalidad)
Descripción de la tarea	Dado un texto escrito en Twitter, la tarea consiste en identificar de manera automática el sexo, la edad y los rasgos de personalidad de su autor.
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2015 - https://pan.webis.de/clef15/pan15-web/author-profiling.html
Organizadores	Francisco Rangel - Autoritas, España Fabio Celli - University of Trento, Italia Paolo Rosso - Universitat Politècnica de València, España Martin Potthast - Bauhaus-Universität Weimar, Alemania Benno Stein - Bauhaus-Universität Weimar, Alemania Walter Daelemans - University of Anwerp, Bélgica
Grupos destinatarios	Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario	08-11/09/2015: Conferencia 10/03/2015: Early birds 15/04/2015: Envío de softwares 24/05/2015: Notificación de resultados 07/06/2015: Envío de artículos 24/07/2015: Registro a la conferencia
Número de participantes	22 equipos (~80personas)
Número de participantes de España	4 personas en 2 equipos
Dominio	Twitter, sin acotar a un dominio concreto
Idiomas	lnglés Español Italiano Holandés

Nombre de la campaña
- PAN 2015 @ CLEF
Nombre de la tarea
- Author Profiling: Age, Gender and Personality Detection in Twitter
Tipo de tarea
- Evaluación de sistemas de clasificación automática (edad, sexo y personalidad)
Descripción de la tarea
- Dado un texto escrito en Twitter, la tarea consiste en identificar de manera automática el sexo, la edad y los rasgos de personalidad de su autor.
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2015 - https://pan.webis.de/clef15/pan15-web/author-profiling.html
Organizadores
- - Francisco Rangel - Autoritas, España
  - Fabio Celli - University of Trento, Italia
  - Paolo Rosso - Universitat Politècnica de València, España
  - Martin Potthast - Bauhaus-Universität Weimar, Alemania
  - Benno Stein - Bauhaus-Universität Weimar, Alemania
  - Walter Daelemans - University of Anwerp, Bélgica
Grupos destinatarios
- Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario
- - 08-11/09/2015: Conferencia
  - 10/03/2015: Early birds
  - 15/04/2015: Envío de softwares
  - 24/05/2015: Notificación de resultados
  - 07/06/2015: Envío de artículos
  - 24/07/2015: Registro a la conferencia
Número de participantes
- 22 equipos (~80personas)
Número de participantes de España
- 4 personas en 2 equipos
Dominio
- Twitter, sin acotar a un dominio concreto
Idiomas
- - lnglés
  - Español
  - Italiano
  - Holandés

Datos

Datos de entrenamiento

					Twitter
Autores en inglés					152
Autores en español					110
Autores en italiano					38
Autores en holandés					34
Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Datos de entrenamiento
- Twitter
  Autores en inglés 152
  Autores en español 110
  Autores en italiano 38
  Autores en holandés 34
  Distribuido como XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- - https://www.uni-weimar.de/medien/webis/corpora/corpus-pan-labs-09-today/pan-15/pan15-data/pan15-author-profiling-training-dataset-2015-04-23-password-protected.zip [ZIP]
  - https://s3.amazonaws.com/autoritas.pan/pan-ap2015-test.zip [ZIP]

Resultados

Métrica de evaluación

Accuracy en identificación sexo y edad
RMSE en detección de personalidad

Rendimiento

Medios sociales

Sexo

Inglés: 85,92%

Español: 96,59%

Italiano: 86,11%

Holandés: 96,88%

Edad

Inglés: 83,80%

Español: 79,55%

Combinado

Inglés: 72,54%

Español: 77,27%

Personalidad

Inglés: 14,42%

Español: 12,35%

Italiano: 10,44%

Holandés: 5,63%

Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

Resultados con los rankings

Rangel F., Celli F., Rosso P., Potthast M., Stein B., Daelemans W. (2015). Overview of the 3rd Author Profiling Task at PAN 2015. In: Cappellato L., Ferro N., Jones G., San Juan E. (Eds.) CLEF 2015 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 1391

https://www.uni-weimar.de/medien/webis/events/pan-15/pan15-papers-final/pan15-author-profiling/rangel15-overview.pdf [PDF]

Volumen de publicación

vol. 1391, CEUR-WS.org (153 citas a 15/10/2018)

Gestión web de usuarios

Sí

Atención a participantes

Email: pan@webis.de

Google Groups

Métrica de evaluación
- - Accuracy en identificación sexo y edad
  - RMSE en detección de personalidad