Construyendo PictoMaker: un teclado predictivo de pictogramas con IA
Y, de paso, una introducción a los SAAC y a los modelos de lenguaje
Puede que hayas llegado aquí desde mi charla en la PyConES 2025 en Sevilla — ¡bienvenido/a! 👋
Aquí encontrarás una explicación más detallada del proyecto, junto con los notebooks en Kaggle donde resuelvo los dos problemas principales expuestos en la charla
La comunicación es un derecho fundamental, pero no todas las personas pueden expresarse mediante el lenguaje oral o escrito.
Los SAAC (Sistemas Aumentativos y Alternativos de Comunicación) proporcionan herramientas —como tableros o aplicaciones de pictogramas— que facilitan la expresión a personas con discapacidad motora, autismo o dificultades del habla.
Sin embargo, muchos de estos sistemas son estáticos: requieren navegar entre categorías o buscar pictogramas manualmente, lo que puede ralentizar la interacción.
Mi objetivo con PictoMaker fue ir un paso más allá: crear un teclado predictivo de pictogramas, capaz de anticipar la siguiente palabra y mostrar automáticamente los pictogramas correspondientes.
Reto 1. Predecir la siguiente palabra
El primer desafío fue similar al de cualquier modelo de texto predictivo, pero con un matiz importante: debía funcionar bien con frases simples y contextos muy diversos, propios del lenguaje utilizado en SAAC.
Para ello experimenté con modelos Transformers, probando dos enfoques principales:
- Encoders como BERT, que permiten capturar el contexto bidireccional de la frase.
- Decoders como GPT-2, más adecuados para generación de texto (predictiva).
El objetivo era que, dado un fragmento como:
“quiero ir al …”
el modelo sugiriera “baño”, “parque”, “colegio”… en función del contexto.
📓 Puedes explorar el notebook donde desarrollo esta parte en Kaggle.
Reto 2. Mapear palabras a pictogramas
Una vez predicha la palabra, el siguiente paso era mostrar el pictograma correcto.
Aquí surgía un problema lingüístico: los pictogramas suelen estar asociados a lemas (formas canónicas de las palabras).
Por ejemplo, “corriendo”, “corre” y “corrí” deberían mapearse al pictograma de “correr”.
Para resolverlo utilicé lematización con spaCy, que me permite reducir cualquier forma verbal o derivada a su raíz.
Después, esa raíz se asocia con el pictograma adecuado dentro del repositorio.
📓 Puedes ver cómo implementé este proceso en Kaggle.
Juntándolo todo: el prototipo
Combinando ambas partes, PictoMaker:
- Predice la siguiente palabra que el usuario podría querer decir.
- Lematiza y traduce esa palabra a su pictograma correspondiente.
- Muestra sugerencias visuales, facilitando la selección y acelerando la comunicación.
Puedes ver el prototipo de aplicación en: pictomaker.org
Limitaciones y próximos pasos
PictoMaker es, por ahora, un prototipo experimental, diseñado para demostrar el potencial de combinar IA y comunicación aumentativa. Sin embargo, aún existen varios desafíos importantes:
- El modelo de lenguaje está entrenado con español general, lo que significa que tiende a generar frases complejas y estructuras gramaticales poco propias del lenguaje SAAC. Los usuarios de estos sistemas suelen emplear oraciones más directas, centradas en la acción o el objeto (“yo comer manzana” en lugar de “quiero comer una manzana”), por lo que la adaptación del modelo es esencial.
- El sistema aún no está optimizado para uso real, sino que funciona como una prueba de concepto.
Mi intención es continuar el desarrollo de PictoMaker junto con profesionales del área de logopedia, educación especial y accesibilidad, para adaptar el modelo y la interfaz a las necesidades reales de los usuarios.
Reflexión final
En definitiva, los SAAC son un campo donde la inteligencia artificial puede tener un impacto social enorme.
Más allá de la precisión técnica, el objetivo es empoderar la comunicación de quienes más lo necesitan.
Con PictoMaker, busco demostrar cómo la IA puede actuar como un puente entre el lenguaje natural y la comunicación visual, haciendo el proceso más rápido, accesible y humano.
Si quieres profundizar en el código o experimentar con los modelos, te invito a explorar los notebooks enlazados más arriba, o a ver la charla completa de la PyConES 2025 en Sevilla (enlace al vídeo próximamente).