Generatywna AI ma brudny i kosztowny sekret Nieokiełznany apetyt na energię
Giganci Big Tech, Google, Microsoft, Meta, Baidu i inni wydali, wydają i będą wydawać ogromne pieniądze na budowę lub zakup generatywnych narzędzi AI, które wykorzystują duże modele językowe (LLM), które odpowiadają na pytania, serwują zestawy informacji, poprawiają teksty, generują kod programistyczny i robią mnóstwo innych rzeczy. Tak naprawdę pełna lista ich zastosowań nie została jeszcze zamknięta.
Niestety to wszystko kosztuje, a jeśli konwersacyjne narzędzia AI zostaną zintegrowane z wyszukiwarkami, kosztować będzie jeszcze znacznie więcej. Wyścig w budowaniu wysokowydajnych, napędzanych sztuczną inteligencją wyszukiwarek, według wszelkich znaków na niebie i na ziemi, będzie wymagał dramatycznego wzrostu potrzebnej mocy obliczeniowej, a wraz z nią ogromnego skoku w zużyciu energii przez firmy technologiczne.
Szkolenie LLM-ów, takich jak te, które leżą u podstaw ChatGPT firmy OpenAI, który już zasila wyszukiwarkę Bing Microsoftu, oraz jego odpowiednik ze stajni Google’a nazwany Bard, oznacza przeszukiwanie i obliczanie powiązań w ogromnych zasobach danych. Koszty tych operacji są niebagatelne. Dość powiedzieć, że nie jest przypadkiem, że za LLM-ami stoją największe i najbogatsze firmy.
Chociaż ani OpenAI, ani Google nie ujawniają, jaki jest dokładny koszt obliczeniowy i energetyczny ich produktów, to według analiz zewnętrznych przeprowadzonych przez badaczy niezależnych od tych firm, do szkolenia GPT-3, na którym częściowo opiera się ChatGPT, zużyto 1287 MWh energii elektrycznej. Ale szkolenie to dopiero początek kosztów obliczeniowych i energetycznych. Należy wziąć pod uwagę fakt, że trzeba nie tylko wytrenować system, ale także go uruchomić i obsłużyć miliony użytkowników.
Istnieje również duża różnica pomiędzy wykorzystaniem ChatGPT, który według szacunków banku inwestycyjnego UBS miał w styczniu 2022 i 2023 r. już ok. stu milionów użytkowników dziennie, jako samodzielnego produktu a zintegrowaniem go z Bingiem, który obsługuje pół miliarda wyszukiwań każdego dnia i to bez uwzględnienia wzrostu popularności dzięki dodaniu chatbota.
Martin Bouchard, współzałożyciel kanadyjskiej firmy QScale, uważa, opierając się na analizie planów Microsoftu i Google’a dotyczących wyszukiwania, że dodanie generatywnej AI do tych usług będzie wymagało co najmniej od czterech lub pięciu razy więcej mocy obliczeniowej na samo wyszukiwanie. Zwraca też uwagę, że ChatGPT obecnie (marzec 2023 r.) ma dostęp do danych pochodzących najpóźniej z końca 2021 roku. By sprostać wymaganiom użytkowników wyszukiwarki, będzie musiał dodać wiele nowych informacji i parametrów związanych z dostępem do zasobów internetowych na bieżąco. A to z kolei będzie wymagało znaczących inwestycji w sprzęt, centra danych (1) i infrastrukturę. I oczywiście geometrycznie lub szybciej rosnący apetyt na moc obliczeniową.
Zapotrzebowanie na energię rosło i bez AI
Według Międzynarodowej Agencji Energii, światowe centra danych już odpowiadają za około jeden procent światowej emisji gazów cieplarnianych. Globalne zużycie energii elektrycznej w centrach danych w 2021 r. wyniosło 220–320 TWh, czyli około 0,9–1,3 proc. globalnego końcowego zapotrzebowania na energię elektryczną. Nie obejmuje to energii wykorzystywanej do wydobywania kryptowalut, która w 2021 r. wynosiła 100–140 TWh.
Chociaż zużycie energii elektrycznej w centrach danych na świecie wzrosło od 2010 roku umiarkowanie, w niektórych mniejszych krajach, w których rozwijają się rynki centrów danych, obserwuje się szybki wzrost. Na przykład zużycie energii elektrycznej w centrach danych w Irlandii wzrosło ponad trzykrotnie od 2015 r. i w 2021 r. będzie stanowić 14 proc. całkowitego zużycia energii elektrycznej. W Danii przewiduje się, że do 2025 r. zużycie energii w centrach danych wzrośnie trzykrotnie i będzie stanowić około 7 proc. zużycia energii elektrycznej w tym kraju.
Oczekuje się, że silny wzrost popytu na usługi sieciowe w zakresie transmisji danych będzie się utrzymywał, napędzany tak czy inaczej, niezależnie od rozwoju usług AI, przez usługi tradycyjnie wymagające dużej ilości danych, takie jak strumieniowe przesyłanie wideo, gry w chmurze oraz aplikacje rzeczywistości rozszerzonej i wirtualnej. Przewiduje się również, że ruch danych w sieciach komórkowych będzie nadal szybko rósł, a do 2027 roku wzrośnie czterokrotnie, zaś udział 5G w mobilnym ruchu danych wzrośnie do 60 proc. w tej samej perspektywie czasowej, w porównaniu z 10 proc. w 2021 roku.
Wnioskowanie zużywa więcej energii
W Meta zapotrzebowanie na obliczenia do szkolenia sieci neuronowych (wzrastające o 150 proc. rocznie) i wnioskowania (wzrastające o 105 proc. rocznie) przewyższało w ostatnich latach ogólne zużycie energii w centrum danych (wzrastające o 40 proc. rocznie). Google podaje, że uczenie maszynowe odpowiadało jedynie za 10–15 proc. całkowitego zużycia energii przez centra obliczeniowe firmy, mimo że stanowiło 70–80 proc. całkowitego zapotrzebowania na moc obliczeniową.
Energia elektryczna potrzebna do uruchomienia modelu uczenia maszynowego jest funkcją algorytmu, programu, który go implementuje, liczby procesorów, które uruchamiają program, szybkości i mocy tych procesorów, wydajności centrum danych w dostarczaniu energii i chłodzeniu procesorów oraz miksu dostaw energii (odnawialna, gazowa, węglowa, itp.). Napędzanie futurystycznej rewolucji sztucznej inteligencji przez stare dymiące spalinami źródła to zabawna, ale mająca wiele wspólnego z rzeczywistością ironia losu (2).
Większość firm wydaje więcej energii na obsługę modelu głębokiej sieci neuronowej (wykonywanie wnioskowania nazywanego po angielsku "inference") niż na jego szkolenie. NVIDIA oszacowała, że 80–90 proc. obciążenia pracą w systemie uczenia maszynowego stanowi przetwarzanie wnioskowania. Potwierdza to Amazon, który informował, że w jego usługach obliczeniowych AWS 90 proc. zapotrzebowania na moc w chmurze dotyczy wnioskowania. Jeśli całkowita energia w systemach uczenia maszynowego rozkłada się w proporcjach: 10 proc. na szkolenie i w 90 proc. na obsługę, to nawet jeśli model AI wymagałby dwukrotnie większych kosztów energii na szkolenie, mógłby zmniejszyć całkowitą emisję dwutlenku węgla, gdyby udało się znacząco zmniejszyć koszt energetyczny w usługach serwowania wniosków.
Tu zaoszczędzić, tam zaoszczędzić, ale co z jakością?
Giganty technologiczne od dawna deklarują dążenie do zmniejszenia emisji i nawet osiągnięcia zerowego lub niższego bilansu emisji. Microsoft zobowiązał się do zejścia na ujemny poziom emisji dwutlenku węgla do 2050 roku. Google podjęło ambitniejsze zobowiązania - osiągnięcie zerowej emisji netto w całej swojej działalności już do 2030 roku.
Ślad węglowy i koszty energii związane z integracją AI z wyszukiwaniem można, jak najbardziej, zmniejszyć przez przestawienie centrów danych na czystsze źródła energii, ale to chyba jeszcze nieco potrwa, a rewolucja już teraz puka do drzwi. Podobnie można liczyć również na przeprojektowanie sieci neuronowych, aby stały się bardziej wydajne, zmniejszając tak zwany "czas wnioskowania", który przekłada się na ilość mocy obliczeniowej wymaganej do pracy algorytmu na nowych danych. Ale znów - to trochę potrwa.
Rzecznik Google'a Jane Park powiedziała magazynowi WIRED, że Google opracowało wersję Barda, która była zasilana lżejszym LLM, co też ma znaczenie energetyczne. "Nasze wyniki pokazują, że połączenie wydajnych modeli, procesorów i centrów danych z czystymi źródłami energii może zmniejszyć ślad węglowy systemu uczenia maszynowego nawet tysiąckrotnie", mówiła Park. Komentatorzy zastanawiają się jednak, jak oszczędności i uszczuplenia w modelach, które znane są z tego, że polegają na jak największych i najbogatszych zasobach danych, wpływają na dokładność i jakość dla użytkownika.
Mirosław Usidus
