Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

PAN 2013 - Perfilado de autores

Campaña

Nombre de la campaña

Nombre de la tarea

Evaluación de sistemas de clasificación automática (edad y sexo)

Tipo de tarea

Evaluación de sistemas de clasificación automática (edad y sexo)
 

Descripción de la tarea

Dado un texto escrito en medios sociales, la tarea consiste en identificar de manera automática el sexo y la edad de su autor.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Francisco Rangel - Autoritas, España
  • Paolo Rosso - Universitat Politècnica de València, España
  • Moshe Koppel - Bar-Illan University, Israel
  • Efstathios Stamatatos, University of the Aegean, Grecia
  • Giacomo Inches, Università della Svizzera italiana, Suiza

Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria 
 

Elegibilidad
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) 

Calendario
  • 23-26/09/2013: Conferencia 
  • 01/03/2013: Early birds
  • 30/04/2013: Envío de softwares
  • 15/05/2013: Notificación de resultados
  • 01/06/2013: Envío de artículos largos
  • 16/06/2013: Envío de artículos cortos
  • 30/06/2013: Registro a la conferencia
 

Número de participantes

 

21 equipos (~70 personas)

Número de participantes de España

 

6 personas en 3 equipos

Dominio

Medios sociales sin acotar a un dominio concreto 
 

Idiomas
  • lnglés
  • Español

  • Nombre de la campaña

  • Nombre de la tarea

    • Evaluación de sistemas de clasificación automática (edad y sexo)

  • Tipo de tarea

    • Evaluación de sistemas de clasificación automática (edad y sexo)
       

  • Descripción de la tarea

    • Dado un texto escrito en medios sociales, la tarea consiste en identificar de manera automática el sexo y la edad de su autor.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Francisco Rangel - Autoritas, España
      • Paolo Rosso - Universitat Politècnica de València, España
      • Moshe Koppel - Bar-Illan University, Israel
      • Efstathios Stamatatos, University of the Aegean, Grecia
      • Giacomo Inches, Università della Svizzera italiana, Suiza

  • Grupos destinatarios

    • Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria 
       

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) 

  • Calendario

      • 23-26/09/2013: Conferencia 
      • 01/03/2013: Early birds
      • 30/04/2013: Envío de softwares
      • 15/05/2013: Notificación de resultados
      • 01/06/2013: Envío de artículos largos
      • 16/06/2013: Envío de artículos cortos
      • 30/06/2013: Registro a la conferencia
       

  • Número de participantes

    •  

      21 equipos (~70 personas)

  • Número de participantes de España

    •  

      6 personas en 3 equipos

  • Dominio

    • Medios sociales sin acotar a un dominio concreto 
       

  • Idiomas

      • lnglés
      • Español

Datos

Datos de entrenamiento
  Medios sociales
Autores en inglés 236.600
Autores en español 75.900

Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Accuracy

Rendimiento
Medios sociales
Sexo

Inglés: 59,21%

Español: 64,73%
Edad

Inglés: 65,72%

Español: 65,58%
Combinado

Inglés: 38,94%

Español: 42,08%

Disponibilidad del código

En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

49

Resultados con los rankings

Rangel, F., Rosso, P., Koppel, M., Stamatatos, E., Inches, G. Overview of the Author Profiling Task at PAN 2013. In: Forner P., Navigli R., Tufis D. (Eds.) Notebook Papers of CLEF 2013 LABs and Workshops. CEUR-WS.org, vol. 1179

http://ceur-ws.org/Vol-1179/CLEF2013wn-PAN-RangelEt2013.pdf [PDF]

Volumen de publicación

vol. 1179, CEUR-WS.org (148 citas a 15/10/2018)

Gestión web de usuarios

Sí

Atención a participantes

Email: pan@webis.de

Google Groups

  • Métrica de evaluación

    • Accuracy

  • Rendimiento

    • Medios sociales
      Sexo

      Inglés: 59,21%

      Español: 64,73%
      Edad

      Inglés: 65,72%

      Español: 65,58%
      Combinado

      Inglés: 38,94%

      Español: 42,08%

  • Disponibilidad del código

    • En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes)

  • Tipo de ejecución

    • Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

  • Número total de resultados enviados

    • 49

  • Resultados con los rankings

  • Volumen de publicación

    • vol. 1179, CEUR-WS.org (148 citas a 15/10/2018)

  • Gestión web de usuarios

    • Sí

  • Atención a participantes