¿Por qué tantos sistemas de IA llevan el nombre de muppets?

Diga “01101000 01101001” a BERT y ERNIE. | Ilustración: Getty Images / The Verge / Alex Castro

Una de las mayores tendencias en IA recientemente ha sido la creación de modelos de aprendizaje automático que pueden generar la palabra escrita con una fluidez sin precedentes. Estos programas son cambiadores de juego, potencialmente supercargando la capacidad de las computadoras para analizar y producir lenguaje.

Pero algo que ha pasado en gran medida desapercibido es una tendencia secundaria, una sombra a la primera, y es: un número sorprendente de estas herramientas llevan el nombre de los Muppets.

Hasta la fecha, esta nueva raza de lenguaje AIs incluye un ELMo, un BERT, un Grover, un Big BIRD, un Rosita, un RoBERTa, al menos dos ERNIEs (tres si incluye ERNIE 2.0), y un KERMIT. Grandes jugadores tecnológicos como Google, Facebook y el Allen Institute for AI están involucrados, y la locura tiene alcance global, con el gigante de búsqueda chino Baidu y la Universidad Tsinghua de Beijing contribuyendo con modelos. La convención de nomenclatura está tan bien establecida que estos sistemas a veces se conocen como “Muppetware”. Pero, ¿quién empezó la convención y por qué?

Como habrás adivinado, la respuesta simple es: es una broma interna, con los investigadores nombrando modelos de IA por Muppets porque otros investigadores han nombrado modelos de IA por Muppets. Pero es una broma que resulta resaltar una característica particular de la investigación de IA, demostrando cómo los laboratorios rinden homenaje y se basan en el trabajo de los demás.

La tendencia comenzó con ELMo, un modelo ideado por el Allen Institute y publicado por primera vez en línea en octubre de 2017. Como suele ocurrir con la investigación que abre nuevos caminos, el equipo detrás del trabajo quería crear un acrónimo rápido para su modelo. El autor principal del periódico, Matt Peters, le dijo a The Verge por correo electrónico que hicieron una lluvia de ideas sobre Slack.

“Teníamos una lista de letras utilizables en un acrónimo”, dice Peters. “Modelo de lenguaje, contextual, incrustaciones, etc.” Fue un ingeniero llamado Joel Grus quien se le ocurrió “ELMo” para defender “Embeddings from Language Models”, dice, y el nombre “instantly stuck”.

“Me gustó porque es algo caprichoso pero memorable”, dice Peters. “Mi hijo mayor tenía unos tres años en ese momento y también era mi manera de dedicarle el papel”.

ELMo podría haber sido un único si no hubiera sido por BERT, un modelo de lenguaje creado por el equipo de IA de Google en 2018. Este modelo demostró ser poderoso e influyente, e impulsó una serie de ideas novedosas sobre la generación de lenguaje a la corriente principal de la IA.

BERT en sí significa oficialmente Representaciones de codificador bidireccionales de Transformers, y aunque Google rechazó múltiples solicitudes de The Verge para discutir los orígenes del nombre, se supone ampliamente que los investigadores, como los de Allen, tenían en mente a los Muppets. En la propia entrada de blog de Google sobre el tema, la compañía dice que “BERT se basa en el trabajo reciente en representaciones contextuales previas a la formación, … ELMo.”

BERT logró resultados de última generación en una serie de pruebas, y ha tenido tanto éxito que Google lo incorporó recientemente a su motor de búsqueda. Una vez lanzado el modelo, se abrieron las compuertas de Muppetware, y pronto fue seguido por muchos algoritmos inteligentes que deportivon acrónimos de fuerza bruta, incluyendo ERNIE (Representación mejorada a través de la integración de conocimientos), KERMIT (Kontextuell Encoder Representaciones realizadas por transformaciones de inserción) y Big BIRD (Grandes representaciones de inserción bidireccional para documentos).

Crédito: Google

mprehensión.

Pero la tendencia es más que una broma. Como explica Oren Etzioni, CEO del Instituto Allen, también es una forma seria de reconocer la “deuda intelectual” dentro del mundo de la IA. “ELMo fue nombrado así como un capricho, pero BERT se basa directamente en las ideas de ELMo; Grover utiliza BERT, etc.”, dijo Etzioni a The Verge por correo electrónico. “Hacer hincapié en el crédito que se debe a ELMo es muy importante para nosotros … Snuffaluffagus no puede estar muy atrás!

Mitchell Stern, un estudiante de doctorado en Berkeley que ayudó a crear KERMIT y Big BIRD, dijo que la convención de nomenclatura era en su mayoría divertida, pero también tenía un “aspecto de marca”.

“Dada la extensión de esta tendencia, las personas que trabajan en esta área reconocerán naturalmente nuevos documentos que contienen un nombre temático de Plaza Sésamo”,dijo Stern a The Verge por correo electrónico. Y aunque no todos los modelos de lenguaje de IA que utilizan estas nuevas técnicas llevan el nombre de un Muppet (los sistemas GPT-2 bien viajados de OpenAI son una excepción, es bastante seguro que si ves un modelo de Muppetware sabes qué enfoques está usando.

Todo esto, a su vez, nos ayuda a entender cómo el mundo de la IA depende de la apertura y la colaboración para generar y refinar ideas. La IA no es una disciplina en la que los científicos solitarios se esfuercen en el laboratorio por la noche, bombeando electricidad a través de procesadores y cacareando “It’s aliiiive” sobre una línea de comando brillante. (Descargo de responsabilidad: esto ciertamente sucede, pero no siempre es el enfoque más productivo.) En cambio, los avances tienden a ser iterativos y colaborativos, con grupos de investigadores que se basan en el trabajo y las ideas de los demás.

Y si bien es posible que la broma de Muppetware se desgaste muy pronto, hasta que eso suceda, es una tradición apropiada. Después de todo, la colaboración y el respeto son exactamente el tipo de características de las que los personajes de Barrio Sésamo estarían orgullosos.

Haga clic aquí para más información