EMNLP 2017 - Native Language Identification

Campaña



Nombre de la campaña	EMNLP 2017 - The 12th Workshop on Innovative Use of NLP for Building Educational Applications @ EMNLP
Nombre de la tarea	Shared Task on Native Language Identification (NLI)
Tipo de tarea	Clasificación
Descripción de la tarea	Identificar automáticamente el idioma nativo de un autor en un idioma aprendido (tracks: text y speech)
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2017
Organizadores	Aoife Cahill, Educational Testing Service, EE.UU. Keelan Evanini, Educational Testing Service, EE.UU. Shervin Malmasi, Harvard Medical School, EE.UU. Joel Tetreault, Grammarly, EE.UU
Grupos destinatarios	Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario	01/03/2017: Datos de entrenamiento disponibles 19/06/2017: Datos de prueba disponibles 26/06/2017: Notificación 05/07/2017: Descripción del sistema 14/07/2017: Artículo final
Número de participantes	17 (track texto)
Número de participantes de España	1
Dominio	Trabajos para Toefl
Idiomas	Textos en inglés (idioma nativos: español u otros idiomas)

Nombre de la campaña
- EMNLP 2017 - The 12th Workshop on Innovative Use of NLP for Building Educational Applications @ EMNLP
Nombre de la tarea
- Shared Task on Native Language Identification (NLI)
Tipo de tarea
- Clasificación
Descripción de la tarea
- Identificar automáticamente el idioma nativo de un autor en un idioma aprendido (tracks: text y speech)
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2017
Organizadores
- - Aoife Cahill, Educational Testing Service, EE.UU.
  - Keelan Evanini, Educational Testing Service, EE.UU.
  - Shervin Malmasi, Harvard Medical School, EE.UU.
  - Joel Tetreault, Grammarly, EE.UU
Grupos destinatarios
- Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario
- - 01/03/2017: Datos de entrenamiento disponibles
  - 19/06/2017: Datos de prueba disponibles
  - 26/06/2017: Notificación
  - 05/07/2017: Descripción del sistema
  - 14/07/2017: Artículo final
Número de participantes
- 17 (track texto)
Número de participantes de España
- 1
Dominio
- Trabajos para Toefl
Idiomas
- Textos en inglés (idioma nativos: español u otros idiomas)



Datos de entrenamiento	-
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	-



Métrica de evaluación	Macro F1
Rendimiento	Text-based: 88.18 Speech-based: 87.5 Fusión: 93.19
Disponibilidad del código	No
Tipo de ejecución	Local
Número total de resultados enviados	35
Resultados con los rankings	Shervin Malmasi, Keelan Evanini, Aoife Cahill, Joel Tetreault, Robert Pugh, Christopher Hamill, Diane Napolitano, and Yao Qian. A Report on the 2017 Native Language Identification Shared Task. In Proceedings of the 12th Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics, Copenhagen, Denmark, 8 September 2017 http://www.aclweb.org/anthology/W17-5007
Volumen de publicación	Proceedings of the 12th Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics.
Gestión web de usuarios	Sí
Atención a participantes	Email

Métrica de evaluación
- - Macro F1
Rendimiento
- - Text-based: 88.18
  - Speech-based: 87.5
  - Fusión: 93.19
Disponibilidad del código
- No
Tipo de ejecución
- Local
Número total de resultados enviados
- 35
Resultados con los rankings
- Shervin Malmasi, Keelan Evanini, Aoife Cahill, Joel Tetreault, Robert Pugh, Christopher Hamill, Diane Napolitano, and Yao Qian. A Report on the 2017 Native Language Identification Shared Task. In Proceedings of the 12th Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics, Copenhagen, Denmark, 8 September 2017
  
  http://www.aclweb.org/anthology/W17-5007
Volumen de publicación
- Proceedings of the 12th Workshop on Building Educational Applications Using NLP. Association for Computational Linguistics.
Gestión web de usuarios
- Sí
Atención a participantes
- Email