Construyendo PictoMaker: un teclado predictivo de pictogramas con IA
Y, de paso, una introducción a los SAAC y a los modelos de lenguaje
Puede que hayas llegado aquí desde mi charla en PyConES 2025 en Sevilla — ¡bienvenido/a!
En este artículo encontrarás una explicación más detallada del proyecto, junto con los notebooks de Kaggle donde abordo los dos retos técnicos principales presentados en la charla.
La comunicación es un derecho fundamental, pero no todas las personas pueden expresarse mediante el lenguaje oral o escrito.
Los Sistemas Aumentativos y Alternativos de Comunicación (SAAC) proporcionan herramientas —como tableros o aplicaciones de pictogramas— que facilitan la expresión a personas con discapacidad motora, autismo o dificultades del habla.
Sin embargo, muchos de estos sistemas son estáticos: requieren navegar entre categorías o buscar pictogramas manualmente, lo que ralentiza la interacción y aumenta la carga cognitiva.
Con PictoMaker, mi objetivo fue ir un paso más allá: crear un teclado predictivo de pictogramas, capaz de anticipar la siguiente palabra y mostrar automáticamente los pictogramas correspondientes, haciendo la comunicación más rápida y fluida.
Reto 1: predecir la siguiente palabra
El primer reto es similar al de cualquier sistema de texto predictivo, pero con una restricción clave: el modelo debe funcionar bien con frases cortas y simples, y en contextos muy diversos, característicos del lenguaje utilizado en los SAAC.
Para ello, experimenté con modelos basados en Transformers, explorando dos enfoques principales:
- Modelos encoder como BERT, que capturan el contexto bidireccional de la frase
- Modelos decoder como GPT-2, más adecuados para la generación predictiva de texto
El objetivo era que, dado un fragmento como:
«quiero ir al …»
el modelo pudiera sugerir continuaciones plausibles como «baño», «parque» o «colegio», en función del contexto.
📓 Puedes explorar el notebook donde desarrollo esta parte en este notebook de Kaggle.
Reto 2: mapear palabras a pictogramas
Una vez predicha la palabra, el siguiente paso consiste en mostrar el pictograma correcto.
Aquí surge un reto lingüístico importante: los repositorios de pictogramas suelen estar asociados a lemas (las formas canónicas de las palabras). Por ejemplo, «corriendo», «corre» y «corrí» deberían mapearse al pictograma de «correr».
Para resolverlo, utilicé lematización con spaCy, que permite asociar las formas flexionadas de una palabra con su lema o forma canónica. Ese lema se utiliza después para buscar el pictograma correspondiente.
📓 El notebook donde implemento este proceso está disponible en este notebook de Kaggle.
Juntándolo todo: el prototipo
Combinando ambas partes, PictoMaker:
- Predice la siguiente palabra que el usuario podría querer expresar
- Lematiza y traduce esa palabra a su pictograma correspondiente
- Muestra sugerencias visuales, facilitando la selección y acelerando la comunicación
Puedes explorar el prototipo de la aplicación aquí.
Limitaciones y próximos pasos
Por ahora, PictoMaker es un prototipo experimental, diseñado para demostrar el potencial de combinar IA y SAAC. Aun así, existen retos importantes pendientes:
- El modelo de lenguaje está entrenado con español general, lo que hace que tienda a generar estructuras gramaticales más complejas de lo habitual en los SAAC. Las personas usuarias de estos sistemas suelen emplear construcciones más directas, centradas en acciones u objetos («yo comer manzana» en lugar de «quiero comer una manzana»), por lo que adaptar el modelo al dominio es fundamental.
- El sistema no está optimizado para uso real, sino que funciona como una prueba de concepto.
Mi intención es continuar el desarrollo de PictoMaker junto a profesionales de la logopedia, la educación especial y la accesibilidad, para adaptar tanto el modelo como la interfaz a las necesidades reales de los usuarios.
Reflexión final
Los SAAC son un ámbito donde la inteligencia artificial puede tener un impacto social enorme. Más allá de la precisión técnica, el objetivo último es empoderar la comunicación de quienes más lo necesitan.
Con PictoMaker, busco mostrar cómo la IA puede actuar como un puente entre el lenguaje natural y la comunicación visual, haciendo el proceso más rápido, accesible y humano.
Si quieres profundizar en la implementación, te invito a explorar los notebooks enlazados más arriba o a ver la charla completa de PyConES 2025 en Sevilla.