PAN 2015 - Identificación de autores

Campaña

Nombre de la campaña

PAN 2015 @ CLEF

Nombre de la tarea

Author Identification

Tipo de tarea

Evaluación de sistemas de clasificación automática de autores

Descripción de la tarea

Dado un pequeño número de documentos (hasta 5) de un autor y un documento por clasificar, la tarea consiste en determinar si dicho documento ha sido escrito por el mismo autor, donde el género y el tema de los textos pueden variar (cross-genre and cross-topic author verification).

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2015 - https://pan.webis.de/clef15/pan15-web/author-profiling.html

Organizadores

Efstathios Stamatatos - University of the Aegean, Grecia
Walter Daelemans, Ben Verhoeven - University of Antwerp, Bélgica
Patrick Juola - Duquesne University, EE.UU.
Aurelio López – INAOE, México
Martin Potthast - Bauhaus-Universität Weimar, Alemania

Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario

10/03/2015: Early birds
15/04/2015: Envío de softwares
24/05/2015: Notificación de resultados (evaluación con TIRA)
07/06/2015: Envío de artículos
24/07/2015: Registro a la conferencia
08-11/09/2015: Conferencia

Número de participantes

18 equipos (~40 personas)

Número de participantes de España

Dominio

El corpus en español está compuesto por artículos de periódicos, páginas web o blogs

Idiomas

lnglés
Griego
Holandés
Español

Nombre de la campaña
- PAN 2015 @ CLEF
Nombre de la tarea
- Author Identification
Tipo de tarea
- Evaluación de sistemas de clasificación automática de autores
Descripción de la tarea
- Dado un pequeño número de documentos (hasta 5) de un autor y un documento por clasificar, la tarea consiste en determinar si dicho documento ha sido escrito por el mismo autor, donde el género y el tema de los textos pueden variar (cross-genre and cross-topic author verification).
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2015 - https://pan.webis.de/clef15/pan15-web/author-profiling.html
Organizadores
- - Efstathios Stamatatos - University of the Aegean, Grecia
  - Walter Daelemans, Ben Verhoeven - University of Antwerp, Bélgica
  - Patrick Juola - Duquesne University, EE.UU.
  - Aurelio López – INAOE, México
  - Martin Potthast - Bauhaus-Universität Weimar, Alemania
Grupos destinatarios
- Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario
- - 10/03/2015: Early birds
  - 15/04/2015: Envío de softwares
  - 24/05/2015: Notificación de resultados (evaluación con TIRA)
  - 07/06/2015: Envío de artículos
  - 24/07/2015: Registro a la conferencia
  - 08-11/09/2015: Conferencia
Número de participantes
- 18 equipos (~40 personas)
Número de participantes de España
- 1
Dominio
- El corpus en español está compuesto por artículos de periódicos, páginas web o blogs
Idiomas
- - lnglés
  - Griego
  - Holandés
  - Español

Datos



Datos de entrenamiento	5 textos por problema en el corpus en español (longitud promedia: 1.000 palabras) Distribuido como XML
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	-

Datos de entrenamiento
- - 5 textos por problema en el corpus en español (longitud promedia: 1.000 palabras)
  - Distribuido como XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- -

Resultados



Métrica de evaluación	Combinación de Area under the ROC curve (AUC) y c@1
Rendimiento	Inglés: 0,61 Griego: 0,75 Holandés: 0,63 Español: 0,77
Disponibilidad del código	-
Tipo de ejecución	Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA
Número total de resultados enviados	18
Resultados con los rankings	Efstathios Stamatatos, Walter Daelemans amd Ben Verhoeven, Patrick Juola, Aurelio López-López, Martin Potthast, and Benno Stein.;Overview of the Author Identification Task at PAN 2015. In Linda Cappellato, Nicola Ferro, Gareth Jones, and Eric San Juan, editors, ;CLEF 2015 Evaluation Labs and Workshop – Working Notes Papers, 8-11 September, Toulouse, France, September 2015. CEUR-WS.org http://ceur-ws.org/Vol-1391/inv-pap3-CR.pdf
Volumen de publicación	vol. 1391, CEUR-WS.org
Gestión web de usuarios	Sí
Atención a participantes	Email: pan@webis.de Google Groups

Métrica de evaluación
- Combinación de Area under the ROC curve (AUC) y c@1
Rendimiento
- - Inglés: 0,61
  - Griego: 0,75
  - Holandés: 0,63
  - Español: 0,77
Disponibilidad del código
- -
Tipo de ejecución
- Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA
Número total de resultados enviados
- 18
Resultados con los rankings
- Efstathios Stamatatos, Walter Daelemans amd Ben Verhoeven, Patrick Juola, Aurelio López-López, Martin Potthast, and Benno Stein.;Overview of the Author Identification Task at PAN 2015. In Linda Cappellato, Nicola Ferro, Gareth Jones, and Eric San Juan, editors, ;CLEF 2015 Evaluation Labs and Workshop – Working Notes Papers, 8-11 September, Toulouse, France, September 2015. CEUR-WS.org
  
  http://ceur-ws.org/Vol-1391/inv-pap3-CR.pdf
Volumen de publicación
- vol. 1391, CEUR-WS.org
Gestión web de usuarios
- Sí
Atención a participantes
- Email: pan@webis.de
  
  Google Groups