Kryptowährungs-Q&A
Wie viele GPUs sollen GPT 4 trainieren?
Wie viele GPUs sollen GPT 4 trainieren?
TaegeukChampionship
Sat Jul 20 2024
|
8 Antworten
1797
Wissende Köpfe möchten wissen: Wie viele grafische Verarbeitungseinheiten (GPUs) sind erforderlich, um das mit Spannung erwartete GPT 4, die nächste Generation des bahnbrechenden Sprachmodells von OpenAI, zu trainieren?
Da jede Iteration die Komplexität und die Fähigkeiten erhöht, ist der Rechenaufwand für ein solches Unterfangen sicherlich immens.
Erwägen wir ein paar Hundert oder vielleicht Tausende von GPUs, um das von GPT 4 erwartete Leistungsniveau zu erreichen?
Die Antwort könnte das wahre Ausmaß der bevorstehenden technologischen Leistung offenbaren.
8 Antworten
Elena
Mon Jul 22 2024
Die gesamte Schulungsdauer erstreckte sich über 100 Tage und erforderte einen kontinuierlichen Zeit- und Ressourcenaufwand.
War dies hilfreich?
376
39
Daniele
Mon Jul 22 2024
Das Training nutzte 25.000 NVIDIA A100-GPUs, was eine enorme Rechenleistung darstellt.
War dies hilfreich?
113
24
benjamin_brown_entrepreneur
Mon Jul 22 2024
GPT-4, ein hochmodernes Sprachmodell, erforderte erhebliche Ressourcen für sein Training.
War dies hilfreich?
191
47
MysticRainbow
Mon Jul 22 2024
Diese NVIDIA A100-GPUs verbrauchen beim Einsatz in Servern jeweils etwa 6,5 kW Strom.
War dies hilfreich?
254
99
Gianluca
Mon Jul 22 2024
Bei einer so großen Anzahl verwendeter GPUs ist der Energieverbrauch während des Trainings erheblich.
War dies hilfreich?
193
59
Laden Sie 5 weitere verwandte Fragen
