PAN 2014 - Perfilado de autores

Campaña

Nombre de la campaña

PAN 2014 @ CLEF

Nombre de la tarea

Author Profiling: Age and Gender Identification in Multi-Genre Texts

Tipo de tarea

Evaluación de sistemas de clasificación automática (edad y sexo)

Descripción de la tarea

Dado un texto escrito en diferentes géneros o medios sociales (Twitter, Social Media, Blogs, Reviews), la tarea consiste en identificar de manera automática el sexo y la edad de su autor

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2014 - https://pan.webis.de/clef14/pan14-web/author-profiling.html

Organizadores

Francisco Rangel - Autoritas, España
Paolo Rosso - Universitat Politècnica de València, España
Irina Chugur - Universidad Nacional de Educación a Distancia, España
Martin Potthast - Bauhaus-Universität Weimar, Alemania
Martin Trenkmann - Bauhaus-Universität Weimar, Alemania
Benno Stein - Bauhaus-Universität Weimar, Alemania
Ben Verhoeven - University of Anwerp, Bélgica
Walter Daelemans - University of Anwerp, Bélgica

Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario

01/03/2014: Early birds
01/05/2014: Envío de softwares
24/05/2014: Notificación de resultados
14/06/2014: Envío de artículos
26/07/2014: Registro a la conferencia
15-18/09/2014: Conferencia

Número de participantes

10 equipos (~30 personas)

Número de participantes de España

2 personas en 1 equipo

Dominio

Medios sociales sin acotar a un dominio concreto, excepto las revisiones que son de hoteles

Idiomas

lnglés
Español

Nombre de la campaña
- PAN 2014 @ CLEF
Nombre de la tarea
- Author Profiling: Age and Gender Identification in Multi-Genre Texts
Tipo de tarea
- Evaluación de sistemas de clasificación automática (edad y sexo)
Descripción de la tarea
- Dado un texto escrito en diferentes géneros o medios sociales (Twitter, Social Media, Blogs, Reviews), la tarea consiste en identificar de manera automática el sexo y la edad de su autor
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2014 - https://pan.webis.de/clef14/pan14-web/author-profiling.html
Organizadores
- - Francisco Rangel - Autoritas, España
  - Paolo Rosso - Universitat Politècnica de València, España
  - Irina Chugur - Universidad Nacional de Educación a Distancia, España
  - Martin Potthast - Bauhaus-Universität Weimar, Alemania
  - Martin Trenkmann - Bauhaus-Universität Weimar, Alemania
  - Benno Stein - Bauhaus-Universität Weimar, Alemania
  - Ben Verhoeven - University of Anwerp, Bélgica
  - Walter Daelemans - University of Anwerp, Bélgica
Grupos destinatarios
- Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario
- 01/03/2014: Early birds
  
  01/05/2014: Envío de softwares
  
  24/05/2014: Notificación de resultados
  
  14/06/2014: Envío de artículos
  
  26/07/2014: Registro a la conferencia
  
  15-18/09/2014: Conferencia
Número de participantes
- 10 equipos (~30 personas)
Número de participantes de España
- 2 personas en 1 equipo
Dominio
- Medios sociales sin acotar a un dominio concreto, excepto las revisiones que son de hoteles
Idiomas
- - lnglés
  - Español

Datos

Datos de entrenamiento

	Twitter	Blogs	Reviews
Autores en inglés	306	147	4.160
Autores en español	178	88	-
Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Datos de entrenamiento
- Twitter Blogs Reviews
  Autores en inglés 306 147 4.160
  Autores en español 178 88 -
  Distribuido como XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- - https://www.uni-weimar.de/medien/webis/corpora/corpus-pan-labs-09-today/pan-14/pan14-data/pan14-author-profiling-training-corpus-2014-04-16.zip [ZIP]
  - https://s3.amazonaws.com/autoritas.pan/pan-AP14-test-2014-05-26.zip [ZIP]

Resultados

Métrica de evaluación

Accuracy

Rendimiento

Social media

Twitter

Blogs

Reviews

Sexo

Inglés: 53,85%

Español: 68,37%

Inglés: 73,38%

Español: 65,56%

Inglés: 67,95%

Español: 58,93%

Inglés: 72,59%

Edad

Inglés: 36,52%

Español: 48,94%

Inglés: 50,65%

Español: 61,11%

Inglés: 46,15%

Español: 48,21%

Inglés: 35,02%

Combinado

Inglés: 20,62%

Español: 33,57%

Inglés: 35,71%

Español: 43,33%

Inglés: 30,77%

Español: 32,14%

Inglés: 25,64%

Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

110

Resultados con los rankings

Rangel, F., Rosso, P., Chugur, I., Potthast, M., Trenkmann, M., Stein, B., Verhoeven, B., Daelemans, W. Overview of the 2nd AuthorProfiling Task at PAN 2014. In: Cappellato L., Ferro N., Halvey M., Kraaij W. (Eds.) CLEF 2014 Labs and Workshops, Notebook Papers. CEUR-WS.org, vol. 1180, pp. 898-827

http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF]

Volumen de publicación

vol. 1180, CEUR-WS.org (102 citas a 15/10/2018)

Gestión web de usuarios

Sí

Atención a participantes

Email: pan@webis.de

Google Groups

Métrica de evaluación
- Accuracy