PAN 2014 - Perfilado de autores
Campaña
| Nombre de la campaña | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Nombre de la tarea |
Author Profiling: Age and Gender Identification in Multi-Genre Texts |
|||||||||||||||||||
| Tipo de tarea |
Evaluación de sistemas de clasificación automática (edad y sexo) |
|||||||||||||||||||
| Descripción de la tarea |
Dado un texto escrito en diferentes géneros o medios sociales (Twitter, Social Media, Blogs, Reviews), la tarea consiste en identificar de manera automática el sexo y la edad de su autor |
|||||||||||||||||||
| Categoría de la tarea |
Procesamiento del lenguaje natural |
|||||||||||||||||||
| Fecha evento / edición |
2014 - https://pan.webis.de/clef14/pan14-web/author-profiling.html |
|||||||||||||||||||
| Organizadores |
|
|||||||||||||||||||
| Grupos destinatarios |
Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria |
|||||||||||||||||||
| Elegibilidad |
Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) |
|||||||||||||||||||
| Calendario |
|
|||||||||||||||||||
| Número de participantes |
10 equipos (~30 personas) |
|||||||||||||||||||
| Número de participantes de España |
2 personas en 1 equipo |
|||||||||||||||||||
| Dominio |
Medios sociales sin acotar a un dominio concreto, excepto las revisiones que son de hoteles |
|||||||||||||||||||
| Idiomas |
|
|||||||||||||||||||
Datos
| Datos de entrenamiento | Blogs | Reviews | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Autores en inglés | 306 | 147 | 4.160 | |||||||||||||||||
| Autores en español | 178 | 88 | - | |||||||||||||||||
|
Distribuido como XML |
||||||||||||||||||||
| Derecho de redistribución de datos |
Sólo para investigación |
|||||||||||||||||||
| Enlace a datasets | ||||||||||||||||||||
Resultados
| Métrica de evaluación |
Accuracy |
|||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Rendimiento |
|
Social media |
|
Blogs |
Reviews |
|||||||||||||||
| Sexo |
Inglés: 53,85% Español: 68,37% |
Inglés: 73,38% Español: 65,56% |
Inglés: 67,95% Español: 58,93% |
Inglés: 72,59% |
||||||||||||||||
| Edad |
Inglés: 36,52% Español: 48,94% |
Inglés: 50,65% Español: 61,11% |
Inglés: 46,15% Español: 48,21% |
Inglés: 35,02% | ||||||||||||||||
| Combinado |
Inglés: 20,62% Español: 33,57% |
Inglés: 35,71% Español: 43,33% |
Inglés: 30,77% Español: 32,14% |
Inglés: 25,64% | ||||||||||||||||
| Disponibilidad del código |
En algunos casos los participantes proporcionaron su código fuente vía GitHub (especificado en sus working notes) |
|||||||||||||||||||
| Tipo de ejecución |
Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA |
|||||||||||||||||||
| Número total de resultados enviados |
110 |
|||||||||||||||||||
| Resultados con los rankings |
Rangel, F., Rosso, P., Chugur, I., Potthast, M., Trenkmann, M., Stein, B., Verhoeven, B., Daelemans, W. Overview of the 2nd AuthorProfiling Task at PAN 2014. In: Cappellato L., Ferro N., Halvey M., Kraaij W. (Eds.) CLEF 2014 Labs and Workshops, Notebook Papers. CEUR-WS.org, vol. 1180, pp. 898-827 http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-RangelEt2014.pdf [PDF] |
|||||||||||||||||||
| Volumen de publicación |
vol. 1180, CEUR-WS.org (102 citas a 15/10/2018) |
|||||||||||||||||||
| Gestión web de usuarios |
Sí |
|||||||||||||||||||
| Atención a participantes |
Email: pan@webis.de Google Groups |
|||||||||||||||||||