PAN 2013 - Perfilado de autores

Campaña



Nombre de la campaña	PAN 2013 @ CLEF
Nombre de la tarea	Author Profiling: Age and Gender Identification in Social Media Texts
Tipo de tarea	Evaluación de sistemas de clasificación automática (edad y sexo)
Descripción de la tarea	Dado un texto escrito en medios sociales, la tarea consiste en identificar de manera automática el sexo y la edad de su autor.
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2013 - https://pan.webis.de/clef13/pan13-web/author-profiling.html
Organizadores	Francisco Rangel - Autoritas, España Paolo Rosso - Universitat Politècnica de València, España Moshe Koppel - Bar-Illan University, Israel Efstathios Stamatatos, University of the Aegean, Grecia Giacomo Inches, Università della Svizzera italiana, Suiza
Grupos destinatarios	Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario	23-26/09/2013: Conferencia 01/03/2013: Early birds 30/04/2013: Envío de softwares 15/05/2013: Notificación de resultados 01/06/2013: Envío de artículos largos 16/06/2013: Envío de artículos cortos 30/06/2013: Registro a la conferencia
Número de participantes	21 equipos (~70 personas)
Número de participantes de España	6 personas en 3 equipos
Dominio	Medios sociales sin acotar a un dominio concreto
Idiomas	lnglés Español

Nombre de la campaña
- PAN 2013 @ CLEF
Nombre de la tarea
- Author Profiling: Age and Gender Identification in Social Media Texts
Tipo de tarea
- Evaluación de sistemas de clasificación automática (edad y sexo)
Descripción de la tarea
- Dado un texto escrito en medios sociales, la tarea consiste en identificar de manera automática el sexo y la edad de su autor.
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2013 - https://pan.webis.de/clef13/pan13-web/author-profiling.html
Organizadores
- - Francisco Rangel - Autoritas, España
  - Paolo Rosso - Universitat Politècnica de València, España
  - Moshe Koppel - Bar-Illan University, Israel
  - Efstathios Stamatatos, University of the Aegean, Grecia
  - Giacomo Inches, Università della Svizzera italiana, Suiza
Grupos destinatarios
- Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario
- - 23-26/09/2013: Conferencia
  - 01/03/2013: Early birds
  - 30/04/2013: Envío de softwares
  - 15/05/2013: Notificación de resultados
  - 01/06/2013: Envío de artículos largos
  - 16/06/2013: Envío de artículos cortos
  - 30/06/2013: Registro a la conferencia
Número de participantes
- 21 equipos (~70 personas)
Número de participantes de España
- 6 personas en 3 equipos
Dominio
- Medios sociales sin acotar a un dominio concreto
Idiomas
- - lnglés
  - Español

Datos

Datos de entrenamiento

Medios sociales

Autores en inglés

236.600

Autores en español

75.900

Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Datos de entrenamiento
- Medios sociales
  Autores en inglés 236.600
  Autores en español 75.900
  Distribuido como XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets

Resultados

Métrica de evaluación

Accuracy

Rendimiento

				Medios sociales
Sexo				Inglés: 59,21% Español: 64,73%
Edad				Inglés: 65,72% Español: 65,58%
Combinado				Inglés: 38,94% Español: 42,08%

Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

Resultados con los rankings

Rangel, F., Rosso, P., Koppel, M., Stamatatos, E., Inches, G. Overview of the Author Profiling Task at PAN 2013. In: Forner P., Navigli R., Tufis D. (Eds.) Notebook Papers of CLEF 2013 LABs and Workshops. CEUR-WS.org, vol. 1179

http://ceur-ws.org/Vol-1179/CLEF2013wn-PAN-RangelEt2013.pdf [PDF]

Volumen de publicación

vol. 1179, CEUR-WS.org (148 citas a 15/10/2018)

Gestión web de usuarios

Sí

Atención a participantes

Email: pan@webis.de

Google Groups

Métrica de evaluación
- Accuracy
Rendimiento
- Medios sociales
  
  Sexo
  Inglés: 59,21%
  
  Español: 64,73%
  
  Edad
  Inglés: 65,72%
  
  Español: 65,58%
  
  Combinado
  Inglés: 38,94%
  
  Español: 42,08%
Disponibilidad del código
- En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)
Tipo de ejecución
- Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA
Número total de resultados enviados
- 49
Resultados con los rankings
- Rangel, F., Rosso, P., Koppel, M., Stamatatos, E., Inches, G. Overview of the Author Profiling Task at PAN 2013. In: Forner P., Navigli R., Tufis D. (Eds.) Notebook Papers of CLEF 2013 LABs and Workshops. CEUR-WS.org, vol. 1179
  
  http://ceur-ws.org/Vol-1179/CLEF2013wn-PAN-RangelEt2013.pdf [PDF]
Volumen de publicación
- vol. 1179, CEUR-WS.org (148 citas a 15/10/2018)
Gestión web de usuarios
- Sí
Atención a participantes
- Email: pan@webis.de
  
  Google Groups