PAN 2014 - Identificación de autores

Campaña



Nombre de la campaña	PAN 2014 @ CLEF
Nombre de la tarea	Author Identification
Tipo de tarea	Evaluación sistemas de clasificación automática de autores
Descripción de la tarea	Dado un pequeño número de documentos (hasta 5) de un autor y un documento por clasificar, la tarea consiste en determinar si dicho documento ha sido escrito por el mismo autor (authorship verification).
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2014 - https://pan.webis.de/clef14/pan14-web/author-identification.html
Organizadores	Efstathios Stamatatos - University of the Aegean, Grecia Walter Daelemans, Ben Verhoeven - University of Antwerp, Bélgica Martin Potthast, Benno Stein - Bauhaus-Universität Weimar, Alemania Patrick Juola - Duquesne University, EE.UU. Miguel A. Sanchez-Perez, Instituto Politécnico Nacional, México Alberto Barrón-Cedeño - Universitat Politècnica de Catalunya, Spain
Grupos destinatarios	Abierto a quien quiera participar: han participado grupos de investigación académicos, de institutos de investigación (también forenses), GmbH (pressrelations).
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario	01/03/2014: Early birds 01/05/2014: Envío de softwares 01/05/2014: Notificación de resultados (evaluación con TIRA) 14/06/2014: Envío de artículos 26/07/2014: Registro a la conferencia 15-18/09/2014: Conferencia
Número de participantes	13 equipos (~40 personas)
Número de participantes de España	0
Dominio	El corpus en español está compuesto por artículos de periódico (El País)
Idiomas	lnglés Griego Holandés Español

Nombre de la campaña
- PAN 2014 @ CLEF
Nombre de la tarea
- Author Identification
Tipo de tarea
- Evaluación sistemas de clasificación automática de autores
Descripción de la tarea
- Dado un pequeño número de documentos (hasta 5) de un autor y un documento por clasificar, la tarea consiste en determinar si dicho documento ha sido escrito por el mismo autor (authorship verification).
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2014 - https://pan.webis.de/clef14/pan14-web/author-identification.html
Organizadores
- - Efstathios Stamatatos - University of the Aegean, Grecia
  - Walter Daelemans, Ben Verhoeven - University of Antwerp, Bélgica
  - Martin Potthast, Benno Stein - Bauhaus-Universität Weimar, Alemania
  - Patrick Juola - Duquesne University, EE.UU.
  - Miguel A. Sanchez-Perez, Instituto Politécnico Nacional, México
  - Alberto Barrón-Cedeño - Universitat Politècnica de Catalunya, Spain
Grupos destinatarios
- Abierto a quien quiera participar: han participado grupos de investigación académicos, de institutos de investigación (también forenses), GmbH (pressrelations).
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)
Calendario
- - 01/03/2014: Early birds
  - 01/05/2014: Envío de softwares
  - 01/05/2014: Notificación de resultados (evaluación con TIRA)
  - 14/06/2014: Envío de artículos
  - 26/07/2014: Registro a la conferencia
  - 15-18/09/2014: Conferencia
Número de participantes
- 13 equipos (~40 personas)
Número de participantes de España
- 0
Dominio
- El corpus en español está compuesto por artículos de periódico (El País)
Idiomas
- - lnglés
  - Griego
  - Holandés
  - Español

Datos



Datos de entrenamiento	5 textos por problema en el corpus en español (longitud promedia: 1.000 palabras) Distribuido como XML
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	https://pan.webis.de/clef14/pan14-web/author-identification.html

Datos de entrenamiento
- - 5 textos por problema en el corpus en español (longitud promedia: 1.000 palabras)
  - Distribuido como XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- https://pan.webis.de/clef14/pan14-web/author-identification.html

Resultados



Métrica de evaluación	Combinación de Area under the ROC curve (AUC) y c@1
Rendimiento	Inglés: 0,51 Griego: 0,72 Holandés:0,82 Español: 0,70
Disponibilidad del código	-
Tipo de ejecución	Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA
Número total de resultados enviados	13
Resultados con los rankings	Efstathios Stamatatos, Walter Daelemans, Ben Verhoeven, Martin Potthast, Benno Stein, Patrick Juola, Miguel A. Sanchez-Perez, and Alberto Barrón-Cedeño. Overview of the Author Identification Task at PAN 2014. In Linda Cappellato, Nicola Ferro, Martin Halvey, and Wessel Kraaij, editors, CLEF 2014 Evaluation Labs and Workshop – Working Notes Papers, 15-18 September, Sheffield, UK, pp. 877-89, September 2014. CEUR-WS.org http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-StamatosEt2014.pdf [PDF ]
Volumen de publicación	Volumen de publicación vol. 1180, CEUR-WS.org (101 citas a 15/10/2018)
Gestión web de usuarios	Sí
Atención a participantes	Email: pan@webis.de Google Groups

Métrica de evaluación
- Combinación de Area under the ROC curve (AUC) y c@1
Rendimiento
- - Inglés: 0,51
  - Griego: 0,72
  - Holandés:0,82
  - Español: 0,70
Disponibilidad del código
- -
Tipo de ejecución
- Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA
Número total de resultados enviados
- 13
Resultados con los rankings
- Efstathios Stamatatos, Walter Daelemans, Ben Verhoeven, Martin Potthast, Benno Stein, Patrick Juola, Miguel A. Sanchez-Perez, and Alberto Barrón-Cedeño. Overview of the Author Identification Task at PAN 2014. In Linda Cappellato, Nicola Ferro, Martin Halvey, and Wessel Kraaij, editors, CLEF 2014 Evaluation Labs and Workshop – Working Notes Papers, 15-18 September, Sheffield, UK, pp. 877-89, September 2014. CEUR-WS.org
  
  http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-StamatosEt2014.pdf [PDF ]
Volumen de publicación
- Volumen de publicación vol. 1180, CEUR-WS.org (101 citas a 15/10/2018)
Gestión web de usuarios
- Sí
Atención a participantes
- Email: pan@webis.de
  
  Google Groups