Blog

May 13, 2023

Meta apuesta fuerte por la IA con chips personalizados

En un evento virtual esta mañana, Meta levantó el telón de sus esfuerzos para

En un evento virtual esta mañana, Meta levantó el telón de sus esfuerzos para desarrollar una infraestructura interna para las cargas de trabajo de IA, incluida la IA generativa como el tipo que sustenta sus herramientas de creación y diseño de anuncios lanzadas recientemente.

Fue un intento de proyección de fuerza de Meta, que históricamente ha tardado en adoptar sistemas de hardware amigables con la IA, lo que limita su capacidad para seguir el ritmo de rivales como Google y Microsoft.

"Construir nuestras propias capacidades [de hardware] nos da control en cada capa de la pila, desde el diseño del centro de datos hasta los marcos de capacitación", dijo a TechCrunch Alexis Bjorlin, vicepresidente de infraestructura en Meta. "Este nivel de integración vertical es necesario para ampliar los límites de Investigación de IA a escala".

Durante la última década, Meta ha gastado miles de millones de dólares en la contratación de los mejores científicos de datos y en la creación de nuevos tipos de IA, incluida la IA que ahora impulsa los motores de descubrimiento, los filtros de moderación y los recomendadores de anuncios que se encuentran en sus aplicaciones y servicios. Pero la compañía ha tenido problemas para convertir muchas de sus innovaciones de investigación de IA más ambiciosas en productos, particularmente en el frente de la IA generativa.

Hasta 2022, Meta ejecutó en gran medida sus cargas de trabajo de IA utilizando una combinación de CPU, que tienden a ser menos eficientes para ese tipo de tareas que las GPU, y un chip personalizado diseñado para acelerar los algoritmos de IA. Meta desconectó un lanzamiento a gran escala del chip personalizado, que estaba planeado para 2022, y en su lugar realizó pedidos por miles de millones de dólares en GPU Nvidia que requerían importantes rediseños de varios de sus centros de datos.

En un esfuerzo por cambiar las cosas, Meta hizo planes para comenzar a desarrollar un chip interno más ambicioso, que saldrá a la venta en 2025, capaz de entrenar modelos de IA y ejecutarlos. Y ese fue el tema principal de la presentación de hoy.

Meta llama al nuevo chip Meta Training and Inference Accelerator, o MTIA para abreviar, y lo describe como parte de una "familia" de chips para acelerar el entrenamiento de IA y las cargas de trabajo de inferencia. ("Inferenciar" se refiere a ejecutar un modelo entrenado). El MTIA es un ASIC, un tipo de chip que combina diferentes circuitos en una placa, lo que permite programarlo para realizar una o varias tareas en paralelo.

Un chip de IA Meta diseñado a medida para cargas de trabajo de IA.Créditos de imagen:Meta

"Para obtener mejores niveles de eficiencia y rendimiento en nuestras importantes cargas de trabajo, necesitábamos una solución personalizada que se codiseñara con el modelo, la pila de software y el hardware del sistema", continuó Bjorlin. "Esto proporciona una mejor experiencia para nuestros usuarios a través de una variedad de servicios".

Los chips de IA personalizados son cada vez más el nombre del juego entre los jugadores de Big Tech. Google creó un procesador, el TPU (abreviatura de "unidad de procesamiento de tensor"), para entrenar grandes sistemas generativos de IA como PaLM-2 e Imagen. Amazon ofrece chips patentados a los clientes de AWS tanto para capacitación (Trainium) como para inferencia (Inferentia). Y, según se informa, Microsoft está trabajando con AMD para desarrollar un chip de IA interno llamado Athena.

Meta dice que creó la primera generación de MTIA, MTIA v1, en 2020, basada en un proceso de 7 nanómetros. Puede escalar más allá de sus 128 MB internos de memoria hasta 128 GB, y en una prueba comparativa diseñada por Meta, que, por supuesto, debe tomarse con cautela, Meta afirma que el MTIA manejó "programas de baja complejidad". " y modelos de IA de "complejidad media" de manera más eficiente que una GPU.

Queda trabajo por hacer en las áreas de memoria y redes del chip, dice Meta, que presenta cuellos de botella a medida que crece el tamaño de los modelos de IA, lo que requiere que las cargas de trabajo se dividan en varios chips. (No es casualidad que Meta adquiriera recientemente una tecnología de creación de redes de inteligencia artificial con sede en Oslo en el chip unicornio británico Graphcore). Y por ahora, el enfoque de MTIA es estrictamente en la inferencia, no en el entrenamiento, para "cargas de trabajo de recomendación" en toda la familia de aplicaciones de Meta.

Pero Meta enfatizó que el MTIA, que continúa refinando, aumenta "en gran medida" la eficiencia de la compañía en términos de rendimiento por vatio cuando ejecuta cargas de trabajo de recomendación, lo que a su vez permite que Meta funcione "más mejorado" y "vanguardista" (ostensiblemente) Cargas de trabajo de IA.

Quizás algún día, Meta relegará la mayor parte de sus cargas de trabajo de IA a bancos de MTIA. Pero por ahora, la red social depende de las GPU en su supercomputadora centrada en la investigación, Research SuperCluster (RSC).

Presentado por primera vez en enero de 2022, el RSC, ensamblado en asociación con Penguin Computing, Nvidia y Pure Storage, ha completado su construcción de segunda fase. Meta dice que ahora contiene un total de 2000 sistemas Nvidia DGX A100 con 16 000 GPU Nvidia A100.

Entonces, ¿por qué construir una supercomputadora interna? Bueno, por un lado, está la presión de los compañeros. Hace varios años, Microsoft hizo un gran alboroto con su supercomputadora de IA construida en asociación con OpenAI, y más recientemente dijo que se asociaría con Nvidia para construir una nueva supercomputadora de IA en la nube de Azure. En otros lugares, Google ha estado promocionando su propia supercomputadora enfocada en IA, que tiene 26,000 GPU Nvidia H100, colocándola por delante de Meta.

La supercomputadora de Meta para la investigación de IA.Créditos de imagen:Meta

Pero más allá de mantenerse al día con los Joneses, Meta dice que el RSC otorga el beneficio de permitir que sus investigadores entrenen modelos utilizando ejemplos del mundo real de los sistemas de producción de Meta. Eso es diferente a la infraestructura de IA anterior de la compañía, que aprovechaba solo conjuntos de datos de código abierto y disponibles públicamente.

"La supercomputadora RSC AI se utiliza para ampliar los límites de la investigación de IA en varios dominios, incluida la IA generativa", dijo un portavoz de Meta. "Realmente se trata de la productividad de la investigación de IA. Queríamos proporcionar a los investigadores de IA una infraestructura de vanguardia para que pudieran desarrollar modelos y empoderarlos con una plataforma de capacitación para avanzar en IA".

En su apogeo, el RSC puede alcanzar casi 5 exaflops de potencia informática, lo que, según la empresa, lo convierte en uno de los más rápidos del mundo. (Para que eso no impresione, vale la pena señalar que algunos expertos ven la métrica de rendimiento de exaflops con una pizca de sal y que el RSC es superado con creces por muchas de las supercomputadoras más rápidas del mundo).

Meta dice que usó el RSC para entrenar LLaMA, un acrónimo torturado de "Large Language Model Meta AI", un modelo de lenguaje grande que la compañía compartió como un "lanzamiento cerrado" para los investigadores a principios de año (y que posteriormente se filtró en varios comunidades de Internet). El modelo LLaMA más grande se entrenó en 2048 GPU A100, dice Meta, lo que tomó 21 días.

"Construir nuestras propias capacidades de supercomputación nos da control en cada capa de la pila, desde el diseño del centro de datos hasta los marcos de capacitación", agregó el vocero. "RSC ayudará a los investigadores de IA de Meta a construir nuevos y mejores modelos de IA que puedan aprender de billones de ejemplos, trabajar en cientos de idiomas diferentes, analizar textos, imágenes y videos juntos sin problemas, desarrollar nuevas herramientas de realidad aumentada y mucho más".

Además de MTIA, Meta está desarrollando otro chip para manejar tipos particulares de cargas de trabajo informáticas, reveló la compañía en el evento de hoy. Llamado Meta Scalable Video Processor, o MSVP, el chip es la primera solución ASIC desarrollada internamente de Meta diseñada para las necesidades de procesamiento de video a pedido y transmisión en vivo.

Meta comenzó a idear chips de video personalizados del lado del servidor hace años, recordarán los lectores, y anunció un ASIC para el trabajo de transcodificación e inferencia de video en 2019. Este es el fruto de algunos de esos esfuerzos, así como un impulso renovado para obtener una ventaja competitiva en el área de video en vivo específicamente.

"Solo en Facebook, las personas pasan el 50% de su tiempo en la aplicación viendo videos", escribieron los gerentes técnicos principales de Meta, Harikrishna Reddy y Yunqing Chen, en una publicación de blog en colaboración publicada esta mañana. "Para servir a la amplia variedad de dispositivos en todo el mundo (dispositivos móviles, computadoras portátiles, televisores, etc.), los videos subidos a Facebook o Instagram, por ejemplo, se transcodifican en múltiples flujos de bits, con diferentes formatos de codificación, resoluciones y calidad... MSVP es programable y escalable, y se puede configurar para admitir de manera eficiente tanto la transcodificación de alta calidad necesaria para VOD como la baja latencia y los tiempos de procesamiento más rápidos que requiere la transmisión en vivo".

El chip personalizado de Meta diseñado para acelerar las cargas de trabajo de video, como la transmisión y la transcodificación.Créditos de imagen:Meta

Meta dice que su plan es eventualmente descargar la mayoría de sus cargas de trabajo de procesamiento de video "estables y maduras" al MSVP y usar la codificación de video de software solo para las cargas de trabajo que requieren una personalización específica y una calidad "significativamente" más alta. El trabajo continúa para mejorar la calidad del video con MSVP utilizando métodos de preprocesamiento como la eliminación inteligente de ruido y la mejora de la imagen, dice Meta, así como métodos de posprocesamiento como la eliminación de artefactos y la superresolución.

"En el futuro, MSVP nos permitirá respaldar aún más los casos de uso y las necesidades más importantes de Meta, incluidos los videos de formato corto, lo que permitirá la entrega eficiente de IA generativa, AR/VR y otro contenido de metaverso", dijeron Reddy y Chen.

Si hay un hilo común en los anuncios de hardware de hoy, es que Meta está intentando desesperadamente acelerar el ritmo en lo que respecta a la IA, específicamente la IA generativa.

Como mucho había sido telegrafiado antes. En febrero, el director ejecutivo Mark Zuckerberg, que supuestamente ha hecho de aumentar la capacidad de cómputo de Meta para IA una prioridad máxima, anunció un nuevo equipo de IA generativa de alto nivel para, en sus palabras, "acelerar" la I + D de la compañía. El CTO Andrew Bosworth también dijo recientemente que la IA generativa era el área en la que él y Zuckerberg pasaban la mayor parte del tiempo. Y el científico jefe Yann LeCun ha dicho que Meta planea implementar herramientas de inteligencia artificial generativa para crear elementos en la realidad virtual.

"Estamos explorando experiencias de chat en WhatsApp y Messenger, herramientas de creación visual para publicaciones en Facebook e Instagram y anuncios, y también experiencias multimodales y de video con el tiempo", dijo Zuckerberg durante la llamada de ganancias del primer trimestre de Meta en abril. "Espero que estas herramientas sean valiosas para todos, desde la gente normal hasta los creadores y las empresas. Por ejemplo, espero que surja mucho interés en los agentes de inteligencia artificial para la mensajería comercial y la atención al cliente una vez que logremos esa experiencia. Con el tiempo, esto también se extenderá a nuestro trabajo en el metaverso, donde las personas podrán crear avatares, objetos, mundos y códigos mucho más fácilmente para unirlos a todos".

En parte, Meta siente una presión cada vez mayor por parte de los inversores preocupados de que la empresa no se mueva lo suficientemente rápido para capturar el mercado (potencialmente grande) de la IA generativa. No tiene respuesta, todavía, para chatbots como Bard, Bing Chat o ChatGPT. Tampoco ha progresado mucho en la generación de imágenes, otro segmento clave que ha experimentado un crecimiento explosivo.

Si las predicciones son correctas, el mercado total direccionable para el software de inteligencia artificial generativa podría ser de $ 150 mil millones. Goldman Sachs predice que aumentará el PIB en un 7%.

Incluso una pequeña parte de eso podría borrar los miles de millones que Meta ha perdido en inversiones en tecnologías de "metaverso" como auriculares de realidad aumentada, software para reuniones y áreas de juego de realidad virtual como Horizon Worlds. Reality Labs, la división de Meta responsable de la tecnología de realidad aumentada, informó una pérdida neta de $ 4 mil millones el último trimestre, y la compañía dijo durante su llamada del primer trimestre que espera que "las pérdidas operativas aumenten año tras año en 2023".