PAN 2018 - Perfilado de autores
Campaña
Nombre de la campaña | ||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Nombre de la tarea |
Author Profiling: Multi-Modal Gender Identification in Twitter |
|||||||||||||||||||
Tipo de tarea |
Evaluación de sistemas de clasificación automática (sexo) |
|||||||||||||||||||
Descripción de la tarea |
Dado un texto escrito en Twitter más 10 imágenes del timeline del usuario, la tarea consiste en identificar de manera automática el sexo de su autor. |
|||||||||||||||||||
Categoría de la tarea |
Procesamiento del lenguaje natural |
|||||||||||||||||||
Fecha evento / edición |
2018 - https://pan.webis.de/clef18/pan18-web/author-profiling.html |
|||||||||||||||||||
Organizadores |
|
|||||||||||||||||||
Grupos destinatarios |
Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria |
|||||||||||||||||||
Elegibilidad |
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) |
|||||||||||||||||||
Calendario |
|
|||||||||||||||||||
Número de participantes |
23 equipos (~70 personas) |
|||||||||||||||||||
Número de participantes de España |
1 personas en 1equipos |
|||||||||||||||||||
Dominio |
Twitter sin acotar a un dominio concreto. |
|||||||||||||||||||
Idiomas |
|
Datos
Datos de entrenamiento | ||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Autores en árabe | 1500 | |||||||||||||||||||
Autores en inglés | 3000 | |||||||||||||||||||
Autores en español | 3000 | |||||||||||||||||||
Distribuido como XML |
||||||||||||||||||||
Derecho de redistribución de datos |
Sólo para investigación |
|||||||||||||||||||
Enlace a datasets |
Resultados
Métrica de evaluación |
Accuracy |
|||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Rendimiento | ||||||||||||||||||||
Sexo con texto |
Árabe: 81,70% Inglés: 82,21% Español: 82,00% |
|||||||||||||||||||
Sexo con imágenes |
Árabe: 72,20% Inglés: 81,63% Español: 77,32% |
|||||||||||||||||||
Combinado texto e imágenes |
Árabe: 81,80% Inglés: 85,84% Español: 82,00% |
|||||||||||||||||||
Disponibilidad del código |
En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes) |
|||||||||||||||||||
Tipo de ejecución |
Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA |
|||||||||||||||||||
Número total de resultados enviados |
103 |
|||||||||||||||||||
Resultados con los rankings |
Rangel F., Rosso P., Montes-y-Gómez M., Potthast M., Stein B. Overview of the 6th Author Profiling Task at PAN 2018: Multimodal Gender Identification in Twitter. CLEF 2018 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 2125. |
|||||||||||||||||||
Volumen de publicación |
vol. 2125, CEUR-WS.org (25 citas a 15/10/2018) |
|||||||||||||||||||
Gestión web de usuarios |
Sí |
|||||||||||||||||||
Atención a participantes |
Email: pan@webis.de Google Groups |