Módulos de trabajo
Módulo 5. Integración y evaluación
Este módulo incluye todas las actividades asociadas a la integración de componentes (algoritmos, técnicas y herramientas) para el desarrollo de aplicaciones software que sirvan como demostradores de tecnología.
Hitos propuestos
- Implementación de soluciones software en diferentes formatos de técnicas, algoritmos y recursos generados por el proyecto.
- Diseño de demostradores de tecnología para los escenarios seleccionados con el fin de medir la usabilidad y funcionalidad de las soluciones software generadas por el proyecto.
Entregables
- Plataforma web para facilitar el acceso a las tecnologías obtenidas.
- APIs (RESTful) de las tecnologías obtenidas, facilitando la integración online con aplicaciones de terceros.
- Instalación de paquetes de software locales.
- Repositorio de código abierto con las técnicas implementadas que pueden ser reutilizadas y replicadas por toda la comunidad científica.
- Tutoriales interactivos sobre el uso de las diferentes técnicas utilizadas.
Tarea 5.1 Desarrollo de módulos
La construcción de demostradores de tecnología requiere un paso previo de desarrollo e integración de módulos de bibliotecas y recursos propios o externos. Tecnologías como los lenguajes de programación, (Python, por ejemplo), bibliotecas (NLTK, CoreNLP, Freeling), así como soluciones avanzadas de ML, son necesarias para estos desarrollos específicos. El uso de fuentes de información diversas, heterogéneas y multimodales requieren la definición de un modelo común de datos y el desarrollo de una capa de microservicios (API), que permitirá la integración de los front-ends de los demostradores de tecnología. Esta tarea incluirá la integración y desarrollo de los módulos necesarios para el lanzamiento de experimentos y su evaluación, y para la posterior integración en los demostradores.
Tarea 5.2 Construcción de demostradores para cada escenario
Para determinar la usabilidad y el rendimiento de las técnicas y herramientas implementadas se requiere la construcción de plataformas experimentales para escenarios específicos. Estas plataformas integrarán los módulos generados a partir de la tarea anterior. Esta tarea se llevará a cabo con el objetivo de generar soluciones que sean transferibles a la sociedad, por ejemplo, para generar fácilmente recursos reutilizables y accesibles, como plataformas web, APIS, repositorios y paquetes de software o tutoriales. La difusión y distribución del conocimiento científico de esta manera permitirá la replicabilidad, reutilización y total accesibilidad a todas las herramientas y técnicas desarrolladas
Tarea 5.3 Experimentación y análisis de resultados
En esta tarea se realizarán diferentes experimentos para cada uno de los escenarios especificados. Además, para de cada uno de ellos se analizarán las métricas de evaluación existentes y, en su caso, se elaborarán nuevas métricas definidos, que nos permitirán medir los recursos y técnicas generados y/o utilizados. Para finalizar, se desarrollarán una serie de experimentos para realizar una evaluación tanto intrínseca como extrínseca. Por otro lado, los resultados obtenidos durante la ejecución de los experimentos serán objeto de un profundo análisis y discusión por parte de todos los investigadores del proyecto. Se extraerán métricas cuantitativas y estadísticas que permitirán la interpretación de estos resultados en relación con las diferentes configuraciones aplicadas en las diferentes propuestas científicas desarrolladas para el proyecto. A través de la evaluación y análisis de resultados es posible estudiar, ajustar y reconfigurar las diferentes propuestas de investigación para obtener las mejores configuraciones de los algoritmos propuestos durante la ejecución del proyecto, para que las propuestas más eficientes puedan integrarse en los demostradores tecnológicos descritos en la tarea 5.1.
Tarea 5.4 Permeabilidad tecnológica
Para asegurar el avance en el uso de las tecnologías del lenguaje en las soluciones finales, es necesario profundizar mecanismos que facilitan la integración de herramientas y recursos generados en plataformas y productos integrados. En los últimos años, la comunidad científica ha hecho una importante apuesta por transferir estrategias basadas en repositorios y bibliotecas que permitan una rápida adopción de las innovaciones creadas. Proyectos como GitHub, Huggingface, Papers with Code o despliegues en repositorios PIP se han convertido en estándares que permiten el uso, por parte de terceros, de soluciones de alta complejidad que están a las fronteras del estado del arte. Este es un elemento clave que está aumentando el impacto de las tecnologías de PLN en la sociedad. La comunidad científica ha adoptado la permeabilidad como una tarea más para aumentar el impacto de la investigación, al hacer que el código esté disponible en formatos y versiones que faciliten su uso. Significa proporcionar desarrollos experimental con la calidad necesaria para su rápido despliegue en otros entornos de ejecución de terceros. Esto aumenta la reproducibilidad de los experimentos y una mayor difusión de la métodos y técnicas propuestas. Gracias a la simplificación del trabajo para poder ejecutar un sistema resultante de un trabajo de investigación, otros investigadores pueden aplicar la solución a nuevos problemas o construir soluciones novedosas que lo integran.