Углеродный след ChatGPT

Когда появляется что-то столь же крупное, как OpenAI ChatGPT , первая мысль сообщества ClimateAction.Tech не «О, давайте попробуем!», а скорее «Хм, интересно, какой у него углеродный след?». Поскольку Интернет является крупнейшей в мире машиной , работающей на угле, все, что получает большой трафик, скорее всего, будет выделять много CO₂. Итак, давайте посмотрим, сможем ли мы определить, сколько…

Этот твит о стоимости хостинга ChatGPT начинается с оценки того, что каждое слово ответа занимает 350 мс на графическом процессоре A100. Затем он угадывает 30 слов на ответ и количество ответов в день:

1 миллион пользователей с 10 вопросами у каждого =
10 000 000 ответов =
300 000 000 слов в день
* 0,35 с на слово / 3600 секунд в час
= 29 167 часов графического процессора A100 в день

В Cloud Carbon Footprint указано минимальное энергопотребление 46 Вт и максимальное 407 Вт для A100 в центре обработки данных Azure (см. MIN_WATTS_BY_COMPUTE_PROCESSORи MAX_WATTS_BY_COMPUTE_PROCESSOR). Я предполагаю, что не так много процессоров ChatGPT простаивают, поэтому я ожидаю, что они потребляют в верхней части этого диапазона.

29 167 часов * 407 Вт =
11 870 кВтч в день

Я полагаю, что ChatGPT размещен в Калифорнии, а Cloud Carbon Footprint (тот же файл) говорит, что коэффициент выбросов для западной части США составляет 0,000322167 тонн/кВтч. Таким образом, след CO₂:

0,000322167 * 11 870 =
3,82 т CO₂-экв. в сутки

Это примерно 3 месяца следа среднего американца, составляющего примерно 15 т CO ₂ e в год . Или, другими словами, тот же уровень выбросов CO₂, что и у 93 американцев.

Чего не хватает в этом беглом анализе:

• Выбросы от обучения модели. В статье о выбросах CO₂ одного экземпляра ChatGPT Kasper Groes Albin Ludvigsen указывает, что они составляют 522 т CO2-экв. Эти выбросы амортизируются в течение всего срока службы модели.
• Выбросы CO₂ оборудования конечного пользователя, получающего доступ к ChatGPT. Сюда входит энергопотребление и доля выбросов при производстве и утилизации устройства. Вероятно, это самый большой компонент его присутствия, и его невозможно рассчитать, не зная, какие устройства и откуда получают доступ к ChatGPT. OpenAI может дать некоторое представление об этом, если они добавят в сервис что-то похожее на калькулятор углерода на веб -сайте .
• Выбросы, не связанные с графическим процессором, такие как сеть, ОЗУ и твердотельные накопители
• Воплощенный углерод центра обработки данных