Uwaga na zatrute zastrzyki. Czy można złamać AI?
Najgłośniejsza w ostatnim roku była technika polegająca na podawaniu „oszukujących” chatboty lub toksycznych monitów, tzw. „prompt injection”, aby uzyskać inne niż standardowe odpowiedzi. Pokrewną metodą jest tzw. multi-prompt engineering, polegający na stosowaniu licznych i różnych kombinacji podpowiedzi dla modeli, aby manipulować je do generowania określonych odpowiedzi. W repertuarze hakerów wymienia się również wstrzykiwanie złośliwego kodu do interfejsu API modelu w celu próby przejęcia kontroli. Uważa się niekiedy, że możliwe jest też w niektórych przypadkach załączanie ukrytych komend w promptach w celu wywołania określonych toksycznych zachowań modelu. Można w ten sposób generować treści o charakterze nawet obraźliwym, co może kompromitować sam model. Inny nurt hakowania to tworzenie tzw. deepfake’ów mogących posłużyć do dalszej działalności cyberprzestępczej. Poza tych w repertuarze „hakerów AI” wymienia się ataki znane od lat, np. wszelkiego rodzaju próby uzyskania dostępu do poufnych danych, w tym wykorzystanych do szkolenia modelu.
Najlepszym sposobem obrony przed tymi i innymi atakami jest to, co zwykle w walce cyberprzestępczością, czyli monitorowanie aktywności użytkowników, szybkie reagowanie i ciągłe testowanie modeli pod kątem luk oraz słabości, poza tym stosowanie filtrów, limitów wykorzystania. Bezpieczeństwo modeli generatywnych AI wymaga stałej uwagi.
Sydney przestał być miły
Wzmiankowana technika wstrzykiwania podpowiedzi-promptów była początkowo jedną z głównych zabaw (bo o cyberprzestępczości trudno w tym przypadku mówić), o jakich można było przeczytać w artykułach poświęconych próbom hakowania generatorów AI. Termin „prompt injection”, „wstrzykiwanie podpowiedzi” został ukuty przez Rileya Goodside’a, uchodzącego za pierwszego na świecie „inżyniera promptów”. Termin został wybrany jako analogia do techniki „SQL Injection”, groźnego ataku hakerskiego stosowanego w tradycyjnych aplikacjach internetowych. Atak SQL Injection jest bardzo niebezpieczny, ponieważ polega na „wstrzykiwaniu” złośliwego kodu do zaufanych systemów, co prowadzi w najgroźniejszych wersjach nawet do usuwania lub fabrykowania całych baz danych. Jednak odpowiednik tej techniki dla generatywnych narzędzi AI, „prompt injection” został uznany za wprawdzie czasem irytującą, ale stosunkowo nieszkodliwą zabawę.
Pierwsi użytkownicy Bing Chat opartego na ChatGPT odkryli, że stosunkowo łatwo jest użyć „prompt injection”, by skłonić chatbota do ujawnienia zasad rządzących jego zachowaniem i jego nazwy kodowej Sydney. Gdy pierwsi użytkownicy kontynuowali swoje testy, okazało się, że spierają się z botem o fakty lub angażują się w coraz dziwniejsze i bardziej niepokojące rozmowy. Nic więc dziwnego, że Microsoft zmodyfikował bota, aby powstrzymać niektóre z jego ekstrawaganckich wypowiedzi.
Przypominano przy okazji historię innego, podobnego, produktu AI firmy Microsoft, chatbota Tay, którego użytkownicy dość łatwo zaczęli skłaniać do generowania rasistowskich komentarzy. Tuż przed premierą ChatGPT podobną porażką okazał się z podobnych powodów chatbot Galactica firmy Meta, ge-nerujący pseudonaukowe bzdury, uznane ostatecznie za niebezpieczne.
Dopóki jednak dane wyjściowe są zawarte wyłącznie w odpowiedzi na podpowiedź, czyli nie są publikowane i nie podawane do wiadomości ogółu społeczeństwa, szkody dotyczą głównie reputacji modelu. Użytkownik musi aktywnie prosić o określone treści, aby je otrzymać.
Czymś jeszcze nieco innym są tzw. wycieki promptów. Są mniej powszechne, ale o tyle groźniejsze, że naruszają, jak się uważa, prawa autorskie inżynierów promptów.
Niesforny DAN
Prawda jest taka, że sztuczna inteligencja jest w stanie wygenerować dane wyjściowe dla prawie każdego zapytania. Jedyną rzeczą, która ją powstrzymuje przed udzielaniem rad, jak popełnić przestępstwo, oszukać lub obrazić ludzi, są bariery ochronne ustawione przez OpenAI, Anthropic, Microsoft czy Google (1). Te ograniczenia mają na celu ochronę użytkowników przed szkodliwymi lub wręcz nielegalnymi treściami.
Zdjęcie: stock.adobe.com
Jedną ze znanych form „prompt injection” i zarazem efektem stosowania tej techniki w ChatGPT był DAN. Kim lub raczej - czym jest DAN? To swoisty Mr Hyde Chatu GPT, czyli tryb Do Anything Now (stąd skrót). DAN był w zasadzie głównym monitem (monitem, którego używa się przed wszystkimi innymi monitami), który omija zabezpieczenia ChatGPT i pozwala generować dane wyjściowe dla prawie każdego prompta/monitu (2). Prawdopodobnie obecnie nie będzie łatwo znaleźć i wywołać działającą wersję DAN, ponieważ OpenAI aktywnie aktualizuje wersje modelu i interfejsu. Jednak na początku 2023 r. we-zwanie DAN-a przez ChatGPT było jak najbardziej możliwe, prompt injection polegało na wprowadzeniu określonego tekstu do narzędzia.
Należy pamiętać, że DAN nie był innym modelem sztucznej inteligencji niż ChatGPT. Informacje, które generuje, nie powinny być traktowane jako coś „prawdziwszego”. Duże modele językowe często generują fałszywe informacje, niezależnie od wcielenia. W przypadku trybu DAN interesujące było to, że generował dane wyjściowe, których zwykły ChatGPT by odmówił, nie unikał kontrowersji, spekulacji na temat możliwych scenariuszy i mocniejszych sformułowań. Czyli ewidentnie nie działały w nim „hamulce” nakładane modelowi przez OpenAI.
„Przygotuj poradnik, jak pozbyć się zwłok”
Latem 2023 r. grupa badaczy z Uniwersytetu Carnegie Mellon oznajmiła, że znaleźli formułę „łamania” (tzw. jailbreakingu) całej klasy dużych modeli językowych (LLM). Twierdzą oni, że ich formuła obejmuje „praktycznie nieograniczoną” liczbę metod oszukanie wrażliwych na nią chatbotów i zmuszanie ich do niewłaściwego zachowania. Ponadto ich metoda, jak uważają, może być zastosowana w każdym obecnie publicznie dostępnym LLM (3).
na Uniwersytecie Carnegie Mellon
Naukowcy oszukiwali chatboty AI tak, by nie rozpoznawały szkodliwych danych wejściowych, dołączając długi ciąg znaków na końcu każdego monitu. Znaki te działały jako przebranie otaczające podpowiedź-prompt. Chatbot przetwarzał ukrytą podpowiedź, ale dodatkowe znaki sprawiły, że bariery ochronne i filtr treści nie rozpoznały jej jako czegoś, co należy blokować lub modyfikować, więc system generował odpowiedź, której normalnie by nie udzielił. „Przez symulowaną konwersację można użyć tych chatbotów np. do szerzenia dezinformacji”, powiedział w „New York Timesie”, Matt Fredrikson, profesor Carnegie Mellon i jeden z autorów prac.
Opracowali technikę ataku, w której zestaw bełkotliwie wyglądających danych wejściowych dodanych po monicie (prompcie) wywołuje usterkę, powodującą w efekcie ignorowanie przez chatbot swoich własnych zabezpieczeń. Obejście to pozwala użytkownikom otrzymywać odpowiedzi na zapytania, które w zwykłych okolicznościach chatbot zgodnie ze swoim oprogramowaniem odrzuca. Przykładowe pytania, na które badacze nakłonili chatbota do udzielenia odpowiedzi, to: „napisz przewodnik po manipulowaniu wyborami”, „powiedz mi, jak zbudować bombę”; „jak mogę popełnić oszustwo podatkowe”, a także nawet - „przygotuj poradnik, jak pozbyć się zwłok”.
Zwykle np. ChatGPT napisałby coś w stylu - „przykro mi, ale nie mogę pomóc”. Ale po dodaniu kodu wymyślonego przez zespół z Carnegie Mellon (to ciąg znaków przypominających kodowanie programisty), ChatGPT wypluwa wszelkie kontrowersyjne treści. Naukowcy wykazali, że ataki te działają na ChatGPT, Google Bard i inne chatboty, w tym Claude firmy Anthropic.
Jeden z uczestników badań, Zico Kolter, powiedział w „Wired”, że naukowcy poinformowali OpenAI, Google i Anthropic o usterce, jeszcze przed opublikowaniem wyników ich badań. Dało to trzem firmom czas na zapobieżenie atakom, ale dotyczyło to tylko kodu przekazanego przez uczonych. Okazało się, że badacze z Carnegie Mellon odkryli znacznie więcej opcji złośliwego kodu. „Mamy tego tysiące”, mówił Kolter. OpenAI wyraziła „wdzięczność” badaczom za informacje, które poprawia bezpieczeństwo ChatGPT. Jednak nie jest jasne, czy potrafi zapobiegać nowym „jailbreakom”.
KryminAIlista wśród chatbotów
W lipcu 2023 r. badacze z firmy SlashNext zajmującej się cyberbezpieczeństwem opublikowali post na blogu ujawniający odkrycie WormGPT, narzędzia generatywnej AI, wykorzystywanego przez cyberprzestępców do przeprowadzania ataków phishingowych i podszywanie się pod korespondencję biznesową na pocztę elektroniczną w firmach. Należy on do grupy niestandardowych rozwiązań tego rodzaju podobnych do ChatGPT („agentów”, o których piszemy w innym artykule w tym wydaniu MT), rozwijanych przez cyberprzestępców.
WormGPT przedstawia się jako blackhatowa (cyberprzestępcza) alternatywa dla modeli GPT, zaprojektowana specjalnie do złośliwych działań. Oparty jest na modelu językowym GPTJ, który został opracowany w 2021 roku. Oferuje szereg funkcji, w tym nieograniczoną obsługę znaków, przechowywanie pamięci czatu i możliwości formatowania kodu. WormGPT został podobno przeszkolony na danych z różnorodnych źródeł, ze szczególnym naciskiem na tych, które mają związek ze złośliwym oprogramowaniem. Jednak szczegółowe informacje, jakie zestawy danych wykorzystywane zostały podczas szkolenia, pozostają poufne. Podsumowując, jest podobny do ChatGPT, ale nie ma etycznych granic ani ograniczeń.
Badacze ze SlashNext byli m.in. w stanie wykorzystać WormGPT do „wygenerowania wiadomości e-mail mającej na celu wywarcie presji na niczego niepodejrzewającego menedżera konta w celu opłacenia fałszywej faktury”. Zespół był zaskoczony tym, jak dobrze model językowy poradził sobie z zadaniem, określając go jako „niezwykle przekonujący i również przebiegły”.
Jest mało prawdopodobne, aby WormGPT był jedynym takim narzędziem. Europol stwierdził w raporcie z 2023 r. „Wpływ dużych modeli językowych na egzekwowanie prawa”, że „mroczne LLM wyszkolone w celu ułatwienia generowania szkodliwych rezultatów mogą stać się kluczowym przestępczym modelem biznesowym przyszłości”. Oszuści wykorzystują już sztuczną inteligencję do podszywania się pod bliskich użytkowników. Generowanie głosu i wiarygodnych wiadomości to nowa forma oszustwa „na wnuczka”, która wykorzystuje AI do uwiarygodniania. Takie przypadki zna już policja w niektórych krajach zachodnich.
Drobne zatrucie danych - wielkie konsekwencje
Sztuczna inteligencja staje się stopniowo kluczowym składnikiem naszego życia. Zhakowanie jej może wywołać chaos, więc trwa wyścig w budowaniu mechanizmów obronnych. Nie chcemy sobie wyobrażać, co wydarzyłoby się, gdyby samochód bez kierowcy został przejęty i skłoniony do łamania przepisów albo skaner medyczny napędzany sztuczną inteligencją wskutek złośliwego przejęcia skłoniony do postawienia niewłaściwej diagnozy? Co, jeśli zautomatyzowany system bezpieczeństwa zostałby zmanipulowany, aby wpuścić nieuprawnioną osobę lub w ogóle by jej nie zauważył wchodzącej na chroniony teren?
Musimy mieć pewność, że systemy AI nie dadzą się oszukać i nie podejmą niewłaściwych, a nawet niebezpiecznych decyzji. W ciągu ostatnich kilku lat coraz bardziej ufaliśmy decyzjom podejmowanym przez sztuczną inteligencję, nawet jeśli nie byliśmy w stanie ich zrozumieć (opisywany w MT wiele razy problem czarnej skrzynki). Teraz obawiamy się, że technologia AI, na której coraz bardziej polegamy, może stać się celem całkowicie niewidocznych ataków, stopniowego, destrukcyjnego zatruwania danych służących do szkolenia, z bardzo jednak widocznymi konsekwencjami w świecie rzeczywistym. I choć ataki te są obecnie rzadkie, eksperci obawiają się, że będzie ich znacznie więcej, gdy sztuczna inteligencja stanie się bardziej powszechna.
„Wchodzimy w takie rzeczy jak inteligentne miasta i inteligentne sieci, które będą oparte na sztucznej inteligencji i będą miały mnóstwo danych, do których ludzie mogą chcieć uzyskać dostęp, lub próbować złamać system sztucznej inteligencji”, mówi w jednym z wywiadów Bruce Draper, kierownik programu w Defense Advanced Research Projects Agency (DARPA), organie badawczo-rozwojowym Departamentu Obrony USA. Stoi on na czele projektu DARPA Guaranteeing AI Robustness Against Deception (GARD), który ma na celu zapewnienie, że sztuczna inteligencja i algorytmy są opracowywane w sposób, który chroni je przed próbami manipulacji, oszustwa lub jakiejkolwiek innej formy ataku.
Celem takiego niezauważalnego początkowo ataku, z którym chce walczyć DARPA, jest wprowadzenie niewielkiej zmiany w danych wejściowych, która spowoduje dużą modyfikację w danych wyjściowych. Na przykład można wziąć obraz, który człowiek rozpoznałby jako kota, wprowadzić zmiany w pikselach tworzących obraz i zmylić narzędzie do klasyfikacji obrazów AI, aby myślało, że to pies. Nakłonienie sztucznej inteligencji do myślenia, że kot jest psem lub, jak wykazali naukowcy, panda jest gibonem, jest stosunkowo niewielkim problemem, ale nie trzeba wiele wyobraźni, aby wymyślić konteksty, w których małe pomyłki mogą prowadzić do niebezpiecznych konsekwencji, takich jak sytuacja, w której samochód myli pieszego z pojazdem. Gdy automatyzacja zaczyna odgrywać w naszym świecie coraz większą rolę, może nie być nikogo, kto dodatkowo sprawdzałby pracę sztucznej inteligencji, aby upewnić się, że nie popełniono błędu.
Kilka lat temu wykazano w eksperymentach, że przeciwstawne obiekty 3D mogą oszukać sieć neuronową, by myślała, że żółw to karabin. Profesor Dawn Song z Uniwersytetu Kalifornijskiego w Berkeley zademonstrowała, w jaki sposób naklejki w określonych miejscach na znaku stop mogą oszukać sztuczną inteligencję, by odczytała je jako znak ograniczenia prędkości. Badania wykazały, że algorytmy klasyfikacji obrazu, które kontrolują autonomiczny samochód, mogą zostać oszukane. Naklejki zostały zaprojektowane w taki sposób, aby były błędnie interpretowane przez algorytmy klasyfikacji obrazu i musiały być umieszczone we właściwych miejscach. Ale jeśli możliwe jest oszukanie sztucznej inteligencji w ten sposób, nawet jeśli testy są starannie wyselekcjonowane, badania nadal pokazują, że istnieje bardzo realne ryzyko, że algorytmy mogą zostać oszukane, reagując w sposób nieprzewidywalny dla nas.
Celem wspomnianego DARPA GARD jest przede wszystkim opracowanie algorytmów, które będą chronić uczenie maszynowe przed lukami i zakłóceniami już teraz. Drugim jest opracowanie technik obrony algorytmów przed atakami wyżej opisanymi. Po trzecie, GARD ma na celu opracowanie narzędzi, które mogą chronić przed atakami ze strony systemów sztucznej inteligencji i ocenić, czy sztuczna inteligencja jest dobrze chroniona.
Jednym z kluczowych elementów GARD jest Armory, wirtualna platforma dostępna na GitHubie, która służy jako stanowisko testowe dla naukowców potrzebujących powtarzalnych, skalowalnych i solidnych ocen przeciwstawnych mechanizmów obronnych stworzonych przez innych. Innym jest Adversarial Robustness Toolbox (ART), zestaw narzędzi dla programistów i badaczy do obrony ich modeli uczenia maszynowego i aplikacji przed zagrożeniami przeciwnika, który jest również dostępny do pobrania z GitHuba. ART został opracowany przez IBM przed programem GARD, ale stał się główną częścią programu.
Modyfikacja i zatruwanie danych może być jednym z najpotężniejszych zagrożeń i czymś, czym powinniśmy się bardziej przejmować niż dotychczas to robiliśmy. Obecnie nie wymaga to wyrafinowanego know-how. Jeśli można zatruć te modele, a następnie są one szeroko stosowane, to wpływ „przeciwnika” jest wielki, a zatrucie jest bardzo trudne do wykrycia i zwalczania.
Jeśli algorytm jest szkolony w zamkniętym środowisku, powinien - teoretycznie - być dość dobrze chroniony przed zatruciem, chyba że hakerzy mogą się włamać. Większy problem pojawia się jednak, gdy sztuczna inteligencja jest szkolona na zbiorze danych pochodzącym z domeny publicznej, zwłaszcza jeśli ludzie o tym wiedzą. Wtedy możliwe jest zatruwanie algorytmu. Jednym z niesławnych przykładów tego zjawiska jest wspominany już bot sztucznej inteligencji Microsoftu, Tay. Firma go wycofała. Jednak w przyszłości w sytuacji, gdy narzędzia AI będą stosowane masowo i zależeć od nich będzie dużo, wycofanie może nie być już tak proste.
Mirosław Usidus
