P&R de criptomoedas
Quantas GPUs para treinar GPT 4?
Quantas GPUs para treinar GPT 4?
TaegeukChampionship
Sat Jul 20 2024
|
8 respostas
1037
Mentes curiosas querem saber: quantas unidades de processamento gráfico (GPUs) são necessárias para treinar o tão aguardado GPT 4, a próxima geração do modelo de linguagem inovador da OpenAI?
Com cada iteração trazendo maior complexidade e capacidades, as demandas computacionais para tal empreendimento são certamente imensas.
Estamos olhando para algumas centenas, ou talvez milhares, de GPUs para atingir o nível de desempenho esperado do GPT 4?
A resposta pode revelar a verdadeira escala do feito tecnológico que temos pela frente.
8 respostas
Elena
Mon Jul 22 2024
Toda a duração do treinamento durou 100 dias, exigindo um investimento contínuo de tempo e recursos.
Isso foi útil?
161
21
Daniele
Mon Jul 22 2024
O treinamento utilizou 25.000 GPUs NVIDIA A100, representando um enorme poder computacional.
Isso foi útil?
218
59
benjamin_brown_entrepreneur
Mon Jul 22 2024
O GPT-4, modelo de linguagem de última geração, exigiu recursos significativos para seu treinamento.
Isso foi útil?
176
83
MysticRainbow
Mon Jul 22 2024
Essas GPUs NVIDIA A100, quando implantadas em servidores, consomem aproximadamente 6,5 kW de energia cada.
Isso foi útil?
118
43
Gianluca
Mon Jul 22 2024
Com um número tão grande de GPUs em uso, o uso de energia durante o treinamento é substancial.
Isso foi útil?
41
33
Carregar mais 5 perguntas relacionadas
