Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

PAN 2018 - Identificación de autores

Campaña

Nombre de la campaña

Nombre de la tarea

Author Identification: Authorship Cross-Domain Authorship Attribution

Tipo de tarea

Evaluación de sistemas de clasificación automática de autores

Descripción de la tarea

Dado que un pequeño número de autores candidatos (hasta 20) de un conjunto de documentos conocidos, la tarea consiste en identificar a los autores de otro conjunto de documentos.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Mike Kestemont - University of Anwerp, Bélgica
  • Michael Tschuggnall - University of Innsbruck, Austria
  • Efstathios Stamatatos - University of the Aegean, Grecia
  • Walter Daelemans - University of Anwerp, Bélgica
  • Günther Specht - University of Innsbruck, Austria
  • Benno Stein - Bauhaus-Universität Weimar, Alemania
  • Martin Potthast - Bauhaus-Universität Weimar, Alemania

Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario
  • 30/03/2018: Early birds
  • 15/04/2018: Envío de softwares
  • 11/05/2018: Notificación de resultados
  • 31/05/2018: Envío de artículos
  • 30/06/2018: Registro a la conferencia
  • 10-14/09/2018: Conferencia

Número de participantes

11 equipos (~30 personas)

Número de participantes de España

3 personas en 1 equipos

Dominio

Fanfictions como Harry Potter en la plataforma Archive of Our Own (proyecto de Organization for Transformative Works: https://github.com/radiolarian/AO3Scraper)

Idiomas
  • lnglés
  • Francés
  • Italiano
  • Polaco
  • Español

  • Nombre de la campaña

  • Nombre de la tarea

    • Author Identification: Authorship Cross-Domain Authorship Attribution

  • Tipo de tarea

    • Evaluación de sistemas de clasificación automática de autores

  • Descripción de la tarea

    • Dado que un pequeño número de autores candidatos (hasta 20) de un conjunto de documentos conocidos, la tarea consiste en identificar a los autores de otro conjunto de documentos.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Mike Kestemont - University of Anwerp, Bélgica
      • Michael Tschuggnall - University of Innsbruck, Austria
      • Efstathios Stamatatos - University of the Aegean, Grecia
      • Walter Daelemans - University of Anwerp, Bélgica
      • Günther Specht - University of Innsbruck, Austria
      • Benno Stein - Bauhaus-Universität Weimar, Alemania
      • Martin Potthast - Bauhaus-Universität Weimar, Alemania

  • Grupos destinatarios

    • Abierto a quien quiera participar: han participado grupos de investigación académicos y de la industria

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

  • Calendario

      • 30/03/2018: Early birds
      • 15/04/2018: Envío de softwares
      • 11/05/2018: Notificación de resultados
      • 31/05/2018: Envío de artículos
      • 30/06/2018: Registro a la conferencia
      • 10-14/09/2018: Conferencia

  • Número de participantes

    • 11 equipos (~30 personas)

  • Número de participantes de España

    • 3 personas en 1 equipos

  • Dominio

  • Idiomas

      • lnglés
      • Francés
      • Italiano
      • Polaco
      • Español

Datos

Datos de entrenamiento
  • 10 problemas (2 por idioma) con 7 textos por problema
  • Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Macro F1

Rendimiento
  • Inglés: 76,2%
  • Francés: 66,8%
  • Italiano: 75,2%
  • Polaco: 55,6%
  • Español: 85,6%
 

Disponibilidad del código

-

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

13

Resultados con los rankings

Kestemont, M., Tschuggnall, M., Stamatatos, E., Daelemans, W., Specht, G., Stein, B. and Potthast, M. Overview of the Author Identification Task at PAN-2018: Cross-Domain Authorship Attribution and Style Change Detection.CLEF 2018 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 2125.

http://ceur-ws.org/Vol-2125/invited_paper_2.pdf [PDF ] [0 kB]

Volumen de publicación

vol. 2125, CEUR-WS.org (14 citas a 15/10/2018)

Gestión web de usuarios

Sí

Atención a participantes

Email: pan@webis.de

Google Groups

  • Métrica de evaluación

    • Macro F1

  • Rendimiento

      • Inglés: 76,2%
      • Francés: 66,8%
      • Italiano: 75,2%
      • Polaco: 55,6%
      • Español: 85,6%
       

  • Disponibilidad del código

    • -

  • Tipo de ejecución

    • Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

  • Número total de resultados enviados

    • 13

  • Resultados con los rankings

    • Kestemont, M., Tschuggnall, M., Stamatatos, E., Daelemans, W., Specht, G., Stein, B. and Potthast, M. Overview of the Author Identification Task at PAN-2018: Cross-Domain Authorship Attribution and Style Change Detection.CLEF 2018 Labs and Workshops, Notebook Papers. CEUR Workshop Proceedings. CEUR-WS.org, vol. 2125.

      http://ceur-ws.org/Vol-2125/invited_paper_2.pdf [PDF ] [0 kB]

  • Volumen de publicación

    • vol. 2125, CEUR-WS.org (14 citas a 15/10/2018)

  • Gestión web de usuarios

    • Sí

  • Atención a participantes