Los exinvestigadores de OpenAI y Google Brain, Jacob Buckman y Carles Gelada, están cansados de lo que consideran un "secreto sucio" en el desarrollo de la inteligencia artificial: no son las máquinas, sino las personas, quienes eligen qué información necesitan los modelos de IA para responder preguntas.

Para generar mejores respuestas, estos sistemas tienen que procesar cientos de miles de palabras o tokens, lo que se conoce como longitud del contexto. Cuanto más extensa es esa longitud, más precisos suelen ser los resultados. Pero también implica un mayor costo y un funcionamiento más lento. Por eso, varios investigadores en laboratorios avanzados decidieron aligerar la carga manualmente.

La propuesta de los investigadores se basa en un cambio de enfoque: 'vamos a eliminar todo lo que sea muy antiguo en la memoria. Por ejemplo, todo lo que supere los 200.000 tokens'. Pero no debería ser el ser humano quien decida qué entra y qué sale. "Las redes neuronales son buenas para aprender y deberían tomar esa decisión", afirma Gelada.

Para enfrentar este problema, los dos investigadores, que se conocieron en Google Brain, fundaron Manifest AI, un laboratorio independiente con sede en Nueva York, en 2023. Entendieron que, para resolver la cuestión de la longitud del contexto, no bastaba con ajustar los Transformers -la arquitectura de software detrás de ChatGPT, Copilot y Gemini que se dio a conocer en el mítico paper "Attention is all you Need"- sino que proponen crear un nuevo paradigma de inteligencia artificial, al que llaman retención de potencia.

Este mecanismo permite que los modelos de IA decidan por sí mismos qué información eliminar de su memoria para enfocarse en lo relevante. Según Gelada, esta arquitectura puede facilitar un entrenamiento más veloz y económico. "La retención de potencia va a ser un punto de inflexión", sostuvo Buckman. Como parte de su trabajo, el laboratorio también está lanzando un modelo de código abierto que puede procesar y generar fragmentos de código más extensos.

Manifest AI todavía es una firma chica si se la compara con los grandes laboratorios del sector: recibió apenas US$ 5,5 millones en inversión de capital de riesgo. Aun así, sus fundadores creen que el próximo salto tecnológico podría darse en una empresa pequeña. "En las grandes empresas tecnológicas existe la presión de centrarse en mejoras marginales en lugar de realizar cambios radicales", advirtió Gelada. "Esto limita enormemente el alcance del tipo de ideas que se están dispuestos a explorar", completa.

Un uso potencial de este paradigma está en la robótica. Empresas como Figure tienen su GenAI denominada Helix para robots humanoides. Estos robots se espera que salgan al mercado a unos US$ 20.000 y puedan servir para múltiples propósitos desde trabajar en una fábrica hasta formar parte del hogar. 

Un robot con IA Generativa se enfrenta a un problema: cómo manejar su memoria y su venta de contexto. Los robots basados en estas tecnologías no son todos iguales, cada uno va generando sus patrones de redes neuronales por su relación con el mundo. Pueden ser bastante parecidos pero aún así tener diferencias. 

Si la red neuronal está conectada mucho tiempo a la realidad que vive el robot, las diferencias se acrecienten. Pero surge el problema del consumo energético, más y más patrones hacen que sean inviables energéticamente. Entonces hay algoritmos que se están creando donde los robots deben soñar para consolidar lo más importante del día.

Es por eso que contar con mecanismos automatizados como los de Manifest AI, trasciende el mero uso de los chatbot y encuentra un mercado en algo cada vez mas inquietante: en ese hombre de metal que mas pronto que tarde estará tocando su puerta.  
 

*Con información de Forbes US.