GlassGPT: le puse IA propia a las gafas Ray-Ban Meta

El problema: unas gafas con cámara, pero con la IA cerrada

Las Ray-Ban Meta llevan cámara y altavoz, pero su asistente ("Hey Meta") está cerrado a terceros: no puedes meterle tu propia IA ni conectarlo al modelo que tú quieras. O usas lo que Meta te da, o nada.

Quería lo contrario: mirar algo del mundo real —un documento, una ecuación, un tablero de ajedrez— y que mi IA me lo explicara al oído, en español, sin tocar el móvil.

La decisión: colar mi IA por los bordes de la plataforma

Como "Hey Meta" no es accesible, usar el disparador que sí lo es: Siri. Un App Intent convierte "Oye Siri, analiza" en el punto de entrada, y el toolkit de desarrollador de Meta (developer preview) da acceso a la cámara de las gafas. El resto es mío.

Qué construí: de la mirada a la respuesta hablada

Una app iOS (SwiftUI) que encadena:

• Disparador por voz: "Oye Siri, analiza" → Siri pregunta qué quieres saber y tú hablas.
• Captura POV desde la cámara de las gafas vía el Meta Wearables Toolkit.
• IA de visión: la foto + tu pregunta van a un modelo de visión que interpreta la escena.
• Respuesta hablada en español por el altavoz (TTS), manos libres de principio a fin.

Sirve para leer y explicar documentos, resolver ecuaciones, comentar una partida de ajedrez, leer cartas de restaurante o interpretar mapas y gráficos — todo mirándolo, sin pantalla.

Resultado: un asistente visual de verdad manos libres

• Funciona como pieza personal sobre el developer preview de Meta: instalada en mis propias gafas, no publicada.
• El bucle completo —ver, preguntar, escuchar— ocurre sin sacar el teléfono.
• Reaprovecha infraestructura de IA que ya tenía montada para otros proyectos, así que el coste de sumar esta capacidad fue mínimo.

Lección: cuando una plataforma cierra su IA, entra por la puerta de al lado

Meta no te deja tocar "Hey Meta", pero deja abiertos Siri y el toolkit de cámara. Casi siempre hay un borde por el que colar lo tuyo: en lugar de pelearte con la puerta cerrada, encuentra la que sí está abierta y construye desde ahí.