iberSPEECH 2016

Nombre de la tarea

Albazyn Evaluation Challanges

Tipo de tarea

Search on Speech Evaluation

Speaker Diarization Evaluation

Descripción de la tarea

Search on Speech Evaluation: tarea de búsqueda en contenido de audio de una lista de términos. El objetivo es recuperar los archivos de audio apropiados que contengan cualquiera de esos términos / consultas. Se definen dos tareas diferentes:

• Spoken Term Detection (STD)
• Query-by-Example Spoken Term Detection (QbE STD)

Speaker Diarization Evaluation: la tarea onsiste en segmentar los documentos de audio de acuerdo con diferentes oradores y vincular aquellos segmentos que se originan en el mismo orador

Tema de la tarea

Sistemas conversacionales: reconocimiento del habla, diarización (transcripción con locutor asociado), búsqueda de términos.

Fecha evento / edición

2016

Organizadores

• Search on Speech Evaluation: 
• Javier Tejedor, FOCUS S.L., España
• Doroteo T. Toledano, Universidad Autónoma de Madrid, España
• Speaker Diarization Evaluation:
• Alfonso Ortega, Universidad de Zaragoza, España
• Ignacio Viñaals, Universidad de Zaragoza, España
• Antonio Miguel, Universidad de Zaragoza, España
• Eduardo Lleida, Universidad de Zaragoza, España

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario

• 15/06/2016: Publicación de datos de entrenamiento (Speaker Diarization)
• 30/06/2016: Publicación de datos de entrenamiento (Search on Speech)
• 15/07/2016: Fecha límite inscripción.
• 15/09/2016: Publicación de datos de test (Search on Speech)
• 15/10/2016: Envío de resultados de sistemas y artículos
• 31/10/2016: Resultados distribuidos a los participantes (Search on Speech)
• 23-25/11/2016: Taller de evaluación en IbersSPEECH 2016

Número de participantes

10

Número de participantes de España

10

Dominio

Search on Speech: IT (presentaciones en las jornadas MAVIR sobre recuperación de la información, procesamiento del lenguaje natural etc.); Parlamento Europeo (European Parliament Interpretation Corpus)

Speaker Diarization: Noticias del Canal 3/24 de Televisión Catalana, Corporación Aragonesa de Radio y Televisión (CARTV)

Idiomas

Español (catalán para speaker diarization)

Datos de entrenamiento

Search on Speech: : bases de datos de MAVIR y EPIC. Formatos audios: PCM mono and stereo, MP3, etc.

Speaker Diarization: Noticias del Canal 3/24 de la Televisión Catalana, Corporación Aragonesa de Radio y Televisión (CARTV)

Derecho de redistribución de datos

-

Enlace a datasets

Los datos están disponibles solo para los participantes de la evaluación y están sujetos a los términos de un acuerdo de licencia. El acuerdo de licencia con RTVE se puede descargar desde la página web de Cátedra RTVE-UZ

Métrica de evaluación

Search on Speech: Actual Term Weighted Value (ATWV); también curvas DET

Speaker Diarization: Diarization Error Rate (DER)

Rendimiento

-

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

12

Resultados con los rankings

-

Volumen de publicación

Conference Proceedings iberSPEECH 2016.

Gestión web de usuarios

Email

Los grupos interesados deben registrarse para la evaluación, contactando al equipo organizador en ortega@unizar.es con CC para el Comité Organizador de Evaluaciones de ALBAYZIN 2014. El contacto debe contener la siguiente información: Grupo de investigación (nombre y acrónimo) , Institución (universidad, centro de investigación, etc.), Nombre del Contacto

Atención a participantes

Email: ortega@unizar.es