Ślad węglowy ChatGPT

Kiedy pojawia się coś tak dużego jak OpenAI ChatGPT , pierwszą myślą społeczności ClimateAction.Tech nie jest „Och, spróbujmy!”, ale raczej „Hmm, zastanawiam się, jaki jest ślad węglowy?”. Ponieważ internet jest największą na świecie maszyną zasilaną węglem , wszystko, co generuje duży ruch, prawdopodobnie emituje dużo CO₂. Zobaczmy więc, czy uda nam się ustalić, ile…

Ten tweet o kosztach hostingu ChatGPT zaczyna się od oszacowania, że ​​każde słowo odpowiedzi zajmuje 350 ms na procesorze graficznym A100. Następnie zgaduje 30 słów na odpowiedź i liczbę odpowiedzi dziennie:

1 milion użytkowników z 10 pytaniami na każde =
10 000 000 odpowiedzi =
300 000 000 słów dziennie
* 0,35 s na słowo / 3600 sekund na godzinę
= 29 167 godzin czasu GPU A100 dziennie

Cloud Carbon Footprint podaje minimalny pobór mocy 46 W i maksymalnie 407 W dla A100 w centrum danych Azure (zobacz MIN_WATTS_BY_COMPUTE_PROCESSORi MAX_WATTS_BY_COMPUTE_PROCESSOR). Zgaduję, że niewiele procesorów ChatGPT stoi bezczynnie, więc spodziewam się, że zużywają na górnym końcu tego zakresu.

29 167 godzin * 407 W =
11 870 kWh dziennie

Wierzę, że ChatGPT jest hostowany w Kalifornii, a Cloud Carbon Footprint (ten sam plik) mówi, że współczynnik emisji dla zachodnich Stanów Zjednoczonych wynosi 0,000322167 ton/kWh. Tak więc ślad CO₂ wynosi:

0,000322167 * 11 870 =
3,82 tCO₂e dziennie

To około 3 miesiące śladu węglowego przeciętnego Amerykanina wynoszącego około 15 tCO ₂ e rocznie . Innymi słowy, ten sam wskaźnik emisji CO₂ co 93 Amerykanów.

Czego brakuje w tej szybkiej analizie:

• Emisje z treningu modelu. W artykule na temat śladu CO₂ pojedynczej instancji ChatGPT Kasper Groes Albin Ludvigsen podaje, że wynosi on 522 tCO2e. Emisje te są amortyzowane przez cały okres eksploatacji modelu
• Emisje CO₂ ze sprzętu użytkownika końcowego uzyskującego dostęp do ChatGPT . Obejmuje to zużycie energii i udział w emisjach związanych z produkcją i utylizacją urządzenia. Jest to prawdopodobnie największy składnik jego śladu i niemożliwe do obliczenia bez wiedzy, jakie urządzenia uzyskują dostęp do ChatGPT i skąd. OpenAI może dać o tym pojęcie, jeśli doda do usługi coś podobnego do kalkulatora emisji dwutlenku węgla w witrynie .
• Emisje niezwiązane z GPU, takie jak sieć, pamięć RAM i dyski SSD
• Ucieleśniony węgiel centrum danych