A pegada de carbono do ChatGPT

Quando algo tão grande quanto o OpenAI ChatGPT surge, o primeiro pensamento da comunidade ClimateAction.Tech não é “Ooh, vamos tentar!”, mas sim “Hmm, eu me pergunto qual é a pegada de carbono disso?”. Como a internet é a maior máquina movida a carvão do planeta , qualquer coisa que receba muito tráfego provavelmente emitirá muito CO₂. Então vamos ver se conseguimos calcular quanto...

Este tweet sobre o custo de hospedagem do ChatGPT começa com uma estimativa de que cada palavra de resposta leva 350 ms em uma GPU A100. Em seguida, adivinha 30 palavras por resposta e o número de respostas por dia:

1 milhão de usuários com 10 perguntas cada =
10.000.000 respostas =
300.000.000 palavras por dia
* 0,35s por palavra / 3.600 segundos por hora
= 29.167 horas de tempo de GPU A100 por dia

O Cloud Carbon Footprint lista um consumo mínimo de energia de 46 W e um máximo de 407 W para um A100 em um datacenter do Azure (consulte MIN_WATTS_BY_COMPUTE_PROCESSORe MAX_WATTS_BY_COMPUTE_PROCESSOR). Acho que poucos processadores ChatGPT estão ociosos, então espero que eles estejam consumindo no limite superior desse intervalo.

29.167 horas * 407W =
11.870kWh por dia

Acredito que o ChatGPT esteja hospedado na Califórnia, e o Cloud Carbon Footprint (mesmo arquivo) diz que o fator de emissão para o oeste dos EUA é 0,000322167 toneladas/kWh. Portanto, a pegada de CO₂ é:

0,000322167 * 11.870 =
3,82 tCO₂e por dia

Isso representa cerca de 3 meses da pegada média de um americano de aproximadamente 15 tCO ₂ e por ano . Ou, em outras palavras, a mesma taxa de emissão de CO₂ de 93 americanos.

O que está faltando nesta análise rápida:

• Emissões do treinamento do modelo. Em um artigo sobre a pegada de CO₂ de uma única instância ChatGPT , Kasper Groes Albin Ludvigsen lista isso em 522 tCO2e. Essas emissões são amortizadas durante a vida útil do modelo
• Emissões de CO₂ do equipamento do utilizador final que acede ao ChatGPT . Isso inclui o consumo de energia e uma parcela das emissões da produção e descarte do dispositivo. É provavelmente o maior componente de sua pegada e impossível de calcular sem saber quais dispositivos estão acessando o ChatGPT e de onde. A OpenAI poderia fornecer uma ideia disso se eles adicionassem algo semelhante à Calculadora de carbono do site ao serviço.
• Emissões não-GPU, como rede, RAM e SSDs
• O carbono incorporado do datacenter