SpotLight
Un dispositivo que lee gestos con la cámara y controla a la vez la música y la luz de la sala.
Concepto, vocabulario de gestos, modelo de visión por ordenador, electrónica y packaging. El control deja de estar en un móvil y pasa a estar en la mano de quien está bailando.
Música y luz, en manos de otra persona
En una fiesta hay dos cosas que definen el ambiente: la música y la luz. Y ninguna de las dos está al alcance de quien está bailando.
Alguien tiene que salir del grupo, buscar el móvil, desbloquearlo y cambiar la canción; las luces las controla otra persona, o nadie. Son dos sistemas separados que en la experiencia real son uno solo.
Contexto
Asignatura de Tecnologías Emergentes · Máster oficial en experiencia de usuario para productos y servicios digitales, UDIT
Año
2024
Mi rol
Prototipado
Herramientas
Teachable Machine · p5.js + ml5 · Arduino
Reto de diseño
¿Cómo controlar la música y la luz sin salir de la pista ni tocar un móvil?
Ideación
De un brainstorming abierto a una sola decisión.
Partimos de un brainstorming abierto y lo fuimos acotando contra dos restricciones: las necesidades reales del producto y los requisitos que fijaba la empresa del brief.
De ahí salió la decisión que ordena todo el proyecto: la interfaz no es una pantalla, es el propio cuerpo.
El vocabulario
Cuatro gestos y dos silencios.
Subir volumen, bajar volumen, siguiente canción y agregar a favoritos. Gestos cortos con la mano, pensados para ser visibles y reconocibles en un entorno oscuro, ruidoso y lleno de gente.
Las otras dos clases, «Sin comando» y «Error», no disparan nada. Existen para que el modelo sepa quedarse quieto.
Principios
Tres principios
Comunicar en un ambiente de fiesta
Gestos grandes, de una sola mano, que funcionan a distancia y sin hablar.
Personalización por usuario
Cada persona configura qué gesto corresponde a cada acción, porque no todos hacemos el mismo gesto igual.
Integración de todo el grupo
El control deja de ser de una persona y pasa a ser de quien esté delante del dispositivo.
El modelo
Enseñar al modelo a no hacer nada.
Entrenamos el clasificador en Teachable Machine con muestras grabadas por nosotros mismos, una clase por gesto. La primera versión fallaba en un caso concreto y muy frecuente: cuando no había ningún gesto.
La solución fue añadir dos clases que no son comandos. Con ellas el modelo aprende a no hacer nada, que es lo que debe hacer la mayor parte del tiempo. Las dos acabaron siendo las clases con más muestras de todas.
6
Clasificaciones erróneas sobre 1.255 muestras.
Todas ellas entre clases vecinas: «siguiente canción» con «agregar a favoritos», y «error» con «sin comando».
De la predicción a la luz
La cadena, de la cámara al LED.
La clasificación corre en el navegador con p5.js y ml5, y se envía por puerto serie a un Arduino que gobierna la tira de LED. Cada clase enciende un color; la ausencia de clase apaga.
Aquí anotamos las dos oportunidades de mejora que dejamos abiertas: el retardo entre encender y apagar la luz, y la falta de un gesto de confirmación que evite disparar un comando por accidente.
El prototipo
El problema no era el circuito, era la carcasa.
Del boceto a mano al objeto encendido sobre la mesa. Tres iteraciones bastaron para entender que el problema no era la electrónica, sino la pieza que la envuelve.
Las pruebas
Lo que aprendimos probándolo
Precisión del modelo
Muy alta en laboratorio; sin probar en condiciones reales de luz baja y humo.
Comportamientos «sin gesto»
Gente bailando o varias personas juntas delante de la cámara confunden al clasificador.
Cada persona gesticula de forma distinta
La personalización lo mitiga, pero obliga a un entrenamiento por usuario.
Gestos difíciles de ejecutar
Algunos participantes preferían gestos propios o no lograban hacer los definidos.
El modelo es muy sensible
Las luces cambian demasiado rápido; falta amortiguación entre lecturas.
Recelo ante la cámara
Tener una cámara encendida en casa genera desconfianza, con razón.
Privacidad
Nada se almacena, nada se envía a la nube, nada se duplica.
Datos biométricos y RGPD
Un producto que lee gestos con una cámara trata datos biométricos, y el artículo 9 del RGPD los considera de categoría especial. No basta con que el usuario compre el aparato: hay que informarle de que, al usarlo, está consintiendo ese tratamiento.
Trabajamos la respuesta en tres frentes: el procesamiento ocurre en el propio dispositivo y la imagen se descarta al instante; el producto se plantea con certificación de dispositivo doméstico seguro; y la ampliación del vocabulario de gestos se ofrece como servicio de pago con su propio consentimiento explícito.
Fuente: Reglamento (UE) 2016/679, artículo 9.
Modelo
6 clases entrenadas, dos de ellas para que el modelo no haga nada
Muestras
1.255 muestras grabadas, con seis clasificaciones erróneas
Aprendizajes
6 aprendizajes de las pruebas, documentados al cerrar
Qué aprendí
Aprendí que un modelo no se entrena solo para acertar: se entrena para no equivocarse cuando no pasa nada. Añadir las clases vacías fue lo que hizo usable el producto.
Y que en un producto con cámara la privacidad no es un apartado legal al final, sino una decisión de arquitectura que hay que tomar al principio.
Información
Contexto
Asignatura de Tecnologías Emergentes · Máster oficial en experiencia de usuario para productos y servicios digitales, UDIT
Año
2024
Mi rol
Prototipado
Alcance
Concepto, vocabulario de gestos, entrenamiento del clasificador, electrónica, carcasa, manual y packaging
Herramientas
Teachable Machine para el modelo · p5.js con ml5 para la clasificación en el navegador · Arduino para la tira de LED
El modelo
Seis clases, 1.255 muestras grabadas, precisión por clase entre 0,99 y 1,00 y seis clasificaciones erróneas en total
Estado
Prototipo funcional, con seis aprendizajes de las pruebas documentados al cerrar
Disciplina
Diseño de producto · Investigación · Diseño de interacción
Un producto que lee gestos con una cámara trata datos biométricos: el artículo 9 del RGPD los considera categoría especial. El procesamiento ocurre en el propio dispositivo y la imagen se descarta al instante. Las gráficas del vocabulario, del modelo, del despiece y del troquel son ilustraciones propias hechas para este caso.