Las mentes inquisitivas quieren saber: ¿Cuántas unidades de procesamiento gráfico (GPU) se necesitan para entrenar el tan esperado GPT 4, la próxima generación del innovador modelo de lenguaje de OpenAI?
Dado que cada iteración aumenta la complejidad y las capacidades, las demandas computacionales para tal esfuerzo son seguramente inmensas.
¿Estamos ante unos cientos, o quizás miles, de GPU para alcanzar el nivel de rendimiento esperado de GPT 4?
La respuesta puede revelar la verdadera escala de la hazaña tecnológica que nos espera.
8 respuestas
Elena
Mon Jul 22 2024
La duración total de la formación fue de 100 días, lo que exigió una inversión continua de tiempo y recursos.
Daniele
Mon Jul 22 2024
La capacitación utilizó 25.000 GPU NVIDIA A100, lo que representa una enorme potencia computacional.
benjamin_brown_entrepreneur
Mon Jul 22 2024
GPT-4, un modelo de lenguaje de última generación, requirió importantes recursos para su entrenamiento.
MysticRainbow
Mon Jul 22 2024
Estas GPU NVIDIA A100, cuando se implementan en servidores, consumen aproximadamente 6,5 kW de energía cada una.
Gianluca
Mon Jul 22 2024
Con una cantidad tan grande de GPU en uso, el uso de energía durante el entrenamiento es sustancial.