LinuxParty

"El texto que figura a continuación es un documento filtrado muy recientemente, compartido por una persona anónima en un servidor público de Discord que ha dado permiso para su publicación. Procede de un investigador de Google. El documento es sólo la opinión de un empleado de Google, no de toda la empresa. Hemos verificado su autenticidad".

Este fue el texto que acompañó un artículo publicado la semana pasada en el boletín de la consultora Semianalysis. Su autenticidad también ha sido respaldada por varias entidades tecnológicas. Recibiendo un "8" en la escala de credibilidad de Simon Willison, co-creador de Django (y que se cita en el informe), quien lo llama "el escrito más interesante que he visto sobre LLM en mucho tiempo".

"Al leerlo, es el tipo de documento que uno esperaría ver circulando dentro de Google, y no veo por qué razón alguien escribiría algo tan bueno y luego decidiría pretender que fue una filtración en lugar de atribuirse el mérito".

La premisa básica del informe es que mientras Google y OpenAI continúan compitiendo entre sí (o, según su punto de vista, Google intenta competir contra OpenAI), sus avances están siendo superados gradualmente por el trabajo realizado por el "comunidad de código abierto".

Aunque los modelos de Google y OpenAI todavía tienen una ligera ventaja de calidad, su autor asegura que "la brecha se cerrará sorprendentemente rápido".

"Los modelos de código abierto son más rápidos, más personalizables y, comparativamente hablando, más capaces".

El auge de las alternativas open source

A su capacidad medida en inversión y número de parámetros (la unidad de medida de la complejidad de los modelos de lenguaje), ¿qué quiere decir con "relativamente más capaces, comparativamente hablando"? Esos son proyectos de código abierto, para usar su propio ejemplo:.

"están logrando cosas con 100 dólares 13.000 millones de parámetros que a nosotros nos costaron [lograr] con 10 millones de dólares y 540.000 millones de párametros".

Y aquí reside la clave de la preocupación del autor del artículo: "Y [todo esto] lo están haciendo en semanas, no en meses". A continuación, el informe aborda la rápida evolución desde que la comunidad tuvo acceso al modelo LLaMA de Meta en marzo:

"[LLaMA] no contaba con instrucciones, ni con sintonización de conversación, ni tampoco con RLHF. Sin embargo, la comunidad entendió de inmediato el significado de lo que se les había dado. Y aquí estamos, apenas un mes después, y ya hay variantes con ajustes de instrucciones, cuantización, mejoras de calidad, evaluaciones humanas, multimodalidad, RLHF, etc.".

Lo más importante, según el artículo, "es que han resuelto el problema de la escala", en el sentido de que han eliminado casi por completo la barrera de entrada para la formación y experimentación con los LLM, permitiendo que "una persona, en una noche, y armada con una computadora relativamente potente" para lograr lo que antes solo era posible para grandes corporaciones como OpenAI y Google.

De hecho, el documento incluye un gráfico del sitio web del modelo de código abierto de Vicuña que ha sido modificado para mostrar cuánto tiempo pasó entre el lanzamiento de los dos modelos gratuitos basados ​​en LLaMA y su lanzamiento público. un total de tres semanas:

A continuación, el autor anónimo estableción una comparación entre el incremento de los LLMs open source y el de los modelos de generación de imágenes también open source:

"En muchos sentidos, esto no debería ser una sorpresa para nadie. El auge actual de los LLM de código abierto llega inmediatamente después del experimentado en el campo de la generación de imágenes. […] Muchos lo llaman el "momento Stable Diffusion" de los modelos de lenguaje".

No se puede competir contra el open source

Pero, ¿y en qué afecta todo esto a Google? El informe estima que, a partir de ahora, a Google le resultará aún más complicado competir en este campo: "¿Quién pagaría por un producto de Google con restricciones de uso si hay una alternativa gratuita y de alta calidad sin ellos?".

En cualquier caso, el único problema no reside sólo en la falta de restricciones de los modelos rivales, sino en el mismo modelo de desarrollo de Google, secreto y privativo:

"Mantener nuestra tecnología en secreto era una apuesta destinada a fallar. Los investigadores de Google se van a otras compañías constantemente, por lo que podemos suponer que [dichas compañías] saben todo lo que sabemos, y eso seguirá así mientras esa tubería esté abierta".

Y mientras, las instituciones de investigación de todo el mundo continúan sumando esfuerzos para desarrollar sobre lo desarrollado por otros, gracias al software libre. "Podemos tratar de aferrarnos firmemente a nuestros secretos mientras la innovación externa diluye su valor, o podemos tratar de aprender unos de otros".

Cita, además, dos factores que hacen que los desarrolladores individuales sean más ágiles innovando que las propias empresas:

• En primer lugar, no están limitados por las licencias que circunscriben el acceso gratuito a los LLMs a un "uso personal" (el caso de LLaMA).
• En segundo lugar, la diversidad de LLMs personalizados para usos concretos se debe a desarrolladores comprometidos con estos casos de uso (pone de ejemplo los generadores de imágenes anime basados en Stable Diffusion):

"Está siendo utilizados y creados por personas profundamente inmersas en su subgénero particular, lo que aporta una profundidad de conocimientos y empatía que no podemos esperar igualar".

Meta es el nuevo Google

Según el documento, "paradójicamente el único ganador claro en todo esto es Meta. Como el modelo filtrado era suyo, han conseguido mano de obra gratuita para todo el planeta […] nada les impide incorporar las innovaciones realizadas directamente a sus productos".

"No se puede exagerar el valor de poseer el ecosistema. La propia Google ha utilizado con éxito este paradigma en sus ofertas de código abierto, como Chrome y Android".

¿Qué pasa con OpenAI?

"Cuanto más controlamos nuestros modelos, más atractivas resultan las alternativas abiertas. Tanto Google como OpenAI se han inclinado a la defensiva hacia modelos de publicación que les permiten mantener un estricto control sobre cómo se utilizan sus modelos. Pero este control es una ficción".

El autor del informe es tajante: "OpenAI no importa. Están cometiendo los mismos errores que nosotros en su postura con respecto al open source". Vaticina que OpenAI terminará perdiendo su posición a menos que haga honor a su nombre y vuelva a apostar por lo 'open'. "En este sentido, al menos, [en Google] podemos dar el primer paso".

Fuente: Genbeta.