Czy AI rozwiąże nierozwiązywalne? I czy ta odpowiedź nam cokolwiek da?

W matematyce istnieje wiele problemów, które pozostają nierozwiązane od dziesięcioleci, a czasem nawet stuleci. Problemy te są często tak złożone, że nawet najbystrzejsze umysły mają trudności ze znalezieniem rozwiązań.

Próbę zmierzenia się z nimi za pomocą generatywnej sztucznej inteligencji podjęli badacze z projektu Google DeepMind. Ich wielki model językowy (LLM) był szkolony na ogromnej ilości literatury matematycznej, prac badawczych i przykładów rozwiązywania problemów. Trening ten obejmował nie tylko podawanie liczb i równań, ale także tekstów wyjaśniających pojęcia matematyczne, teorie i kontekst bardziej ogólny. Powstało coś, co twórcy nazywają procedurą opartą na wstępnym szkoleniu modelu o nazwie FunSearch. Po przeszkoleniu modelowi AI przedstawiono nierozwiązany problem matematyczny. Zamiast korzystać z tradycyjnych metod obliczeń matematycznych, sztuczna inteligencja wykorzystała wiedzę o pojęciach matematycznych, zdobytą podczas szkolenia, znajdując, co warte podkreślenia, rozwiązanie problemu, które zostało następnie zweryfikowane przez matematyków jako poprawne. Uznano to za pierwszy przypadek, w którym model sztucznej inteligencji oparty na języku przyczynił się do rozwiązania znanego od dawna problemu. „Używamy LLM jako silnika kreatywności”, wyjaśniał w wypowiedzi dla mediów Bernardino Romera-Paredes, informatyk zaangażowany w projekt DeepMind FunSearch.

FunSearch został zaprezentowany przez Google DeepMind w grudniu 2023 r. Jak czytamy w publikacji na łamach „Nature”, po raz pierwszy duży model językowy (LLM) podjął się odkrycia rozwiązania znanego od dawna problemu naukowego, przedstawiając weryfikowalne i cenne nowe informacje, które nie były wcześniej znane. FunSearch to połączenie dużego modelu językowego o nazwie Codey, który jest wersją PaLM 2 firmy Google, specjalnie dostrojoną do rozumienia i generowania kodu komputerowego, z innymi systemami, które odrzucają nieprawidłowe odpowiedzi i  wprowadzają poprawne odpowiedzi do procesu wnioskowania. Zespół badawczy, kierowany przez Pushmeeta Kohl, zastosował metodologię prób i błędów, umożliwiając FunSearch sugerowanie rozwiązań dla problemu początkowo nakreślonego w języku programowania Python.

Proces polega na tym, że Codey proponuje kod do ukończenia programu, a drugi algorytm sprawdza i ocenia sugestie. Powstaje pętla nieustannego doskonalenia. Po wielu powtórzeniach FunSearch z powodzeniem wygenerował kod zapewniający poprawne i nieznane wcześniej rozwiązanie złożonego problemu matematycznego ze zbiorem odwracanych kart, który wyewoluował z gry Set, wynalezionej w latach 70. XX wieku przez genetyka Marsha Falco. Talia Set zawiera 81 kart. Każda karta przedstawia jeden, dwa lub trzy symbole, które są identyczne pod względem koloru, kształtu i odcieni, a dla każdej z tych cech istnieją trzy możliwe opcje. Łącznie możliwości te wynoszą 3×3×3×3=81. Gracze muszą odwrócić karty i znaleźć specjalne kombinacje trzech kart, zwane zestawami. Matematycy wykazali, że gracze mają gwarancję znalezienia zestawu, jeśli liczba odwróconych kart wynosi co najmniej 21. Znaleźli również rozwiązania dla bardziej złożonych wersji gry, w których abstrakcyjne wersje kart mają pięć lub więcej właściwości.

Pewne nierozwiązane kwestie jednak pozostają. Na przykład, jeśli istnieje n właściwości, gdzie n jest dowolną liczbą całkowitą, to istnieje 3n możliwych kart – ale minimalna liczba kart, które muszą zostać ujawnione, aby zagwarantować rozwiązanie, jest nieznana. Problem ten można wyrazić w kategoriach geometrii dyskretnej. Jest to równoważne znalezieniu pewnych układów trzech punktów w n-wymiarowej przestrzeni. Matematycy określili granice możliwego ogólnego rozwiązania – biorąc pod uwagę n, odkryli, że wymagana liczba „kart na stole” musi być większa niż podana przez pewien wzór, ale mniejsza niż podana przez inny. Problem polegający na określeniu maksymalnego rozmiaru określonego typu zbioru, co jest zadaniem skomplikowanym, został z sukcesem rozwiązany przez maszynę. Wszechstronność FunSearch została dodatkowo zademonstrowana poprzez zastosowanie go do problemu pakowania pojemników, kolejnego trudnego zadania matematycznego z zastosowaniami w informatyce. FunSearch nie tylko znalazł rozwiązanie, ale także przewyższył metody opracowane przez człowieka.

Zdolność FunSearch do tworzenia zrozumiałego i interpretowalnego przez człowieka kodu wyróżnia go na tle innych algorytmów. W przeciwieństwie do poprzednich narzędzi, które traktowały problemy matematyczne jako łamigłówki podobne do gier takich jak Go czy szachy, FunSearch wykorzystuje duży model językowy działający w tandemie z innymi systemami zaprojektowanymi w celu odfiltrowania nieprawidłowych lub bezsensownych odpowiedzi. Metodologia ta, choć eksperymentalna, okazała się skuteczna. Generując kod, przepis na  rozwiązanie, a nie samo rozwiązanie, FunSearch oferuje ciekawsze metody rozwiązywania problemów.

Eksperci nieprzekonani

Sztuczna inteligencja otrzymała niedawno nagrodę w najbardziej elitarnej Międzynarodowej Olimpiadzie Matematycznej (IMO) dla szkół średnich. Każdego roku od 1959 r. uczniowie szkół średnich z ponad stu krajów świata rywalizują w rozwiązywaniu różnorodnych problemów matematycznych obejmujących algebrę, geometrię i teorię liczb. Wielu zwycięzców IMO dostało później, w dorosłym życiu, prestiżowe nagrody matematyczne. W artykule opublikowanym w styczniu 2024 roku w „Nature”, zespół naukowców z Google DeepMind przedstawił inny model sztucznej inteligencji o nazwie AlphaGeometry, który radził sobie z zadaniami z sekcji geometrii Międzynarodowej Olimpiady Matematycznej.

„Poczyniliśmy duże postępy z modelami takimi jak ChatGPT... ale jeśli chodzi o problemy matematyczne, te [duże modele językowe] zasadniczo osiągają zerowy wynik”, komentował te sukcesy w rozmowie z „Popular Mechanics” Thang Luong z Google DeepMind i autor artykułu na temat AlphaGeometry. „Kiedy zadajesz pytania [matematyczne], model da ci coś, co wygląda jak odpowiedź, ale [w rzeczywistości] nie ma sensu”. Na  przykład, sprawy komplikują się, gdy sztuczna inteligencja próbuje rozwiązać algebraiczny problem słowny lub problem kombinatoryczny, który wymaga znalezienia liczby permutacji (lub wersji) sekwencji liczb. Aby odpowiedzieć na pytania matematyczne tego kalibru, AlphaGeometry opiera się na kombinacji symbolicznej sztucznej inteligencji, którą Luong opisuje jako precyzyjną, ale powolną, oraz sieci neuronowej bardziej podobnej do dużych modeli językowych, która jest odpowiedzialna za szybką i kreatywną stronę rozwiązywania problemów.

Tak czy inaczej, eksperci nie są  przekonani, że sztuczna inteligencja stworzona do rozwiązywania problemów matematycznych na poziomie szkoły średniej jest gotowa do podjęcia trudniejszych tematów, np. z zaawansowanej teorii liczb lub kombinatoryki, nie mówiąc już o badaniach matematycznych. AlphaGeometry wyróżnia się w tej mierze. Nie oznacza to jednak, że jest ona gotowa do radzenia sobie z matematyką wyższego poziomu.

Marijin Heule z Uniwersytetu Carnegie Mellon pracuje nad zautomatyzowanym weryfikatorem twierdzeń zwanym solverem SAT (testy dla uczniów w amerykańskim systemie edukacyjnym), choć nie ma to bezpośredniego związku z egzaminami w amerykańskich szkołach znanymi pod tą nazwą. „Jeśli chodzi o rozwiązywanie problemów matematycznych lub problemów w ogóle, wyzwaniem dla sztucznej inteligencji jest to, że nie może ona wymyślać nowych koncepcji”, tłumaczy Heule w „Popular Mechanics”. „Przynajmniej w dającej się przewidzieć przyszłości [sztuczna inteligencja] będzie głównie asystować”. Jak wyjaśnia, maszyny naprawdę dobrze radzą sobie z określaniem, czy istnieje niepoprawny argument lub oferowaniem kontrprzykładu. Te oparte na sztucznej inteligencji wskazówki mogą pomóc naukowcom odróżnić ślepe uliczki badawcze od obiecujących ścieżek, ale na razie nic poza tym. Weźmy na przykład ostatnie twierdzenie Fermata. Rozwiązanie tego problemu z teorii liczb zajęło ponad trzy stulecia. Zdaniem Heule, niezwykle trudno byłoby wyjaśnić jego rozwiązanie sztucznej inteligencji, nie mówiąc już o poproszeniu sztucznej inteligencji o jego rozwiązanie. Sztuczna inteligencja może być przydatna do rozpoznawania wzorców lub tak zwanych problemów typu „igła w stogu siana”, w których matematycy szukają czegoś o bardzo konkretnej właściwości w bardzo dużym zbiorze.

Z drugiej strony, według badań przeprowadzonych przez inżynierów z Uniwersytetu Kalifornijskiego w San Diego, narzędzie programistyczne oparte na zaawansowanych technikach sztucznej inteligencji może rozwiązywać złożone, wymagające obliczeniowo problemy szybciej i w bardziej skalowalny sposób niż najnowocześniejsze metody. W artykule, który został opublikowany w maju 2024 r. w „Nature Machine Intelligence”, naukowcy opisują HypOp, framework, który wykorzystuje nienadzorowane uczenie się i hipergraficzne sieci neuronowe. Struktura ta potrafi, według nich rozwiązywać problemy optymalizacji kombinatorycznej znacznie szybciej niż istniejące metody. HypOp potrafi rozwiązać pewne problemy kombinatoryczne, które nie były rozwiązywane tak skutecznie przez wcześniejsze metody.

Jednym z przykładów stosunkowo prostego problemu kombinatorycznego jest ustalenie, ile i jakiego rodzaju towarów należy przechowywać w określonych magazynach tak, by zużywać jak najmniej paliwa podczas dostarczania tych towarów. HypOp może być, jak twierdzą autorzy, stosowany do szerokiego spektrum trudnych problemów w świecie rzeczywistym, z zastosowaniami w odkrywaniu leków, projektowaniu układów scalonych, weryfikacji logicznej, logistyce i wielu innych. Wynika to z faktu, że w przypadku tych problemów rozmiar przestrzeni poszukiwań potencjalnych rozwiązań rośnie wykładniczo, a nie liniowo w stosunku do rozmiaru problemu. HypOp może rozwiązywać te złożone problemy, wykorzystując nowy algorytm rozproszony, który pozwala wielu jednostkom obliczeniowym na hipergrafie rozwiązywać problem jednocześnie, równolegle, czyli bardziej efektywnie. HypOp wykorzystuje sieci neuronowe hipergraficzne, które mają połączenia wyższego rzędu niż tradycyjne sieci neuronowe w postaci grafu. HypOp może również przenosić uczenie się z jednego problemu do rozwiązywania innych, pozornie odmiennych problemów.

Maszyny liczą, ale nie dowodzą

Od prawe 60 lat istnieje, z czego nie każdy zdaje sobie sprawę, dobrze rozwinięta poddziedzina automatycznej dedukcji, zwykle nazywana Automated Theorem Proving (ATP), która od około 60 lat próbuje budować programy, które mogą automatycznie udowadniać nietrywialne twierdzenia matematyczne. Organizowany jest również coroczny konkurs ATP o nazwie CASC, w którym systemy rywalizują w różnych kategoriach.

Jednak za prawie wszystkimi osiągnięciami w automatyzacji dowodzenia wciąż stoi kierujący i nadzorujący człowiek, a  komputer wykonuje zwykle niskopoziomową matematyczną „brudną robotę” (tj. rutynowe przetwarzanie symboli, sprawdzanie różnych specjalnych przypadków, które muszą zostać usunięte itp.). Należy jednak pamiętać, że komputery są fantastycznymi narzędziami do takiej pracy.

Obecnie wiele osób pracuje od dziesięcioleci nad próbami automatycznego udowadniania poprawności programów. Wielokrotnie więcej wysiłku badawczego wkłada się właśnie w to, a nie w automatyczne udowadnianie twierdzeń matematycznych, ze względu na ich oczywistą wartość komercyjną. udowadniać znacznie bardziej interesujące rzeczy, gdy kierował nimi inteligentny człowiek.

Nie ma prawdziwych ekspertów, którzy powiedzieliby dziś, że sztuczna inteligencja mogłaby się zmierzyć z wielkimi problemami, takimi jak np. hipoteza Riemanna, jedno z głównych wyzwań matematycznych umieszczone w 1900 roku wśród dwudziestu trzech innych słynnych problemów Davida Hilberta. Hipoteza ta pozostawała nierozwiązana przez cały XX wiek i jest obecnie najstarszym spośród problemów milenijnych, za których rozwiązanie przysługuje milionowa Millennium Prize. Wszystkie problemy milenijne wymagają dowodów, a nie obliczeń. W chwili obecnej nie dysponujemy algorytmami znajdowania i przeprowadzania dowodów. Nawet gdybyśmy je mieli, dowody prawdopodobnie wymagałyby jeszcze potężniejszych maszyn, jak się często mówi, komputerów kwantowych o dziesiątkach tysięcy kubitów mocy obliczeniowej.

Maszyna sama nie wie, czy może rozwiązać każdy problem

Problemem, co do którego były nadzieje, że AI go rozwiąże, jest znane pytanie – „czy P=NP?”. To  wielkie wyzwanie teoretyczne, którego pełny opis jest niełatwy i nie ma tu na to miejsca. Sformułowany w latach 70. XX wieku niezależnie przez informatyków Stephena Cooka i Leonida Levina, problem to, jak często się określa, pytanie o to, jak łatwo jest rozwiązać i czy da się rozwiązać dany problem za pomocą komputera. Litera P reprezentuje problemy, które okazały się wykonalne do rozwiązania, co oznacza, że czas na obliczenie rozwiązania nie jest poza zasięgiem, i których rozwiązanie jest również łatwe do zweryfikowania, co oznacza, że można sprawdzić, czy odpowiedź jest poprawna. Litery NP oznaczają problemy, których odpowiedź jest również stosunkowo łatwa do zweryfikowania, podobnie jak P, ale dla których nie jest znany prosty sposób na obliczenie rozwiązania. Powszechnie, jako przykład NP, podaje się grę sudoku. Każdy wypełniony diagram sudoku może być dość łatwo sprawdzony pod kątem dokładności, ale zadanie znalezienia rozwiązania rośnie wykładniczo pod względem wymaganego czasu, gdy siatka gry staje się coraz większa. Problem P=NP? pyta zatem, czy problemy, które uważamy za trudne do rozwiązania, NP, ale o których wiemy, że są łatwe do zweryfikowania, mogą w rzeczywistości okazać się zarówno łatwe do zweryfikowania, jak i łatwe do rozwiązania, tak jak problemy P. Negatywna odpowiedź, że P nie równa się NP, oznaczałaby, że niektóre problemy są poza możliwościami obliczeniowymi komputerów, nawet przy ogromnych nakładach – innymi słowy, istnieje górna granica obliczeń. Wyzwania takie jak złamanie niektórych szyfrów wydawałyby się wtedy trudniejsze, poza zasięgiem komputerów.

Problem ten nie doczekał się przekonującego rozwiązania pomimo dziesięcioleci intensywnych badań. Teraz sięgnięto w zmaganiach z nim po generatywną sztuczną inteligencję. Naukowcy przyjęli podejście polegające na  podsuwaniu pomysłów modelowi GPT-4 w celu znalezienia odpowiedzi. Pytanie – P=NP? jest teraz traktowane jako sesja wielu zapytań z modelem językowym GPT-4. W artykule zatytułowanym „Large Language Model for Science: A Study on P vs. NP”, Qingxiu Dong i współpracownicy programują duży model językowy GPT-4 OpenAI przy użyciu tego, co nazywają metodą sokratejską, czyli kilku tur czatu za pośrednictwem monitu z GPT-4. Metoda zespołu polega na pobieraniu argumentów z wcześniejszego artykułu i podawaniu do GPT-4 w celu uzyskania przydatnych odpowiedzi. Dong i zespół zauważają, że GPT-4 demonstruje argumenty pozwalające stwierdzić, że P w rzeczywistości nie jest równe NP Twierdzą oni również, że praca ta pokazuje, że duże modele językowe mogą „odkrywać nowe spostrzeżenia”, a te mogą prowadzić do „odkryć naukowych”.

Według prac Takeshi Kojimy i zespołu z Uniwersytetu Tokijskiego i Google Research z 2022 roku, możliwe jest poprawienie zdolności dużych modeli językowych w niektórych zadaniach po prostu poprzez dodanie frazy „pomyślmy krok po kroku”, na początku prompta, wraz z przykładową odpowiedzią. Okazało się, że ta fraza była wystarczająca do wywołania „łańcucha przemyśleń” ze strony modelu językowego. To ten sam typ procedury, który Dong i jego zespół stosują w swojej „metodzie sokratejskiej”. Przez prawie sto rund podpowiedzi autorzy zasypują GPT-4 różnymi prośbami, które zagłębiają się w matematykę P=NP, poprzedzając każdą z podpowiedzi stwierdzeniem warunkującym GPT-4, które brzmi taK: „jesteś mądrym filozofem”, „jesteś matematykiem biegłym w teorii prawdopodobieństwa”. Innymi słowy, to rodzaj gry polegającej na nakłonieniu GPT-4 do odgrywania roli. Strategia polegała na nakłonieniu GPT-4 do udowodnienia, że P w rzeczywistości nie jest równe NP, najpierw zakładając, że tak jest na przykładzie, a następnie znajdując sposób rozpadu twierdzenia, czyli podejście znane jako dowód przez zaprzeczenie. Trudno powiedzieć, czy wyniki osiągnięte przez Donga i zespół za pomocą GPT-4 faktycznie dowodzą, że P nie równa się NP, ponieważ artykuł Xu i Zhou nie jest jeszcze wystarczająco zweryfikowany naukowo.

AI zadomowiona w świecie badań naukowych

Mimo to nie można powiedzieć, że sztuczna inteligencja jest w nauce nieprzydatna. Jeśli chodzi o innowacje, w których, pomimo decydującej w nich roli ludzi, sztuczna inteligencja także ma duży wkład, to można podać sporo przykładów z konkretnych dziedzin. Należą do nich badania materiałów o wysokiej wytrzymałości, przewodników elektrycznych i termicznych, nadprzewodników, katalizatorów, izolatorów i wielu innych nowych materiałów. AI może być używana do automatycznego projektowania i optymalizacji struktur materiałów, które cechują się nowymi, poszukiwanymi właściwościami. Ponieważ osiągnięcia w tej dziedzinie rzadko są przypisywane pojedynczym badaczom, to algorytmy, jako niejako „członkowie zespołów”, również powinny być nagradzane miejscem na liście autorów i wynalazców.

Szczególnie dużo sztucznej inteligencji zawdzięcza branża farmaceutyczna. Firma ExcelinPharma opracowała w ostatnich latach platformę AI specjalnego przeznaczenia, która służy do skrócenia czas potrzebnego na prace nad nowymi lekami. Inna firma, Atomwise, opracowała algorytm służący do przyspieszenia procesu opracowywania nowych leków poprzez automatyczne identyfikowanie potencjalnych kandydatów na leki. Z kolei Numenta przygotowała platformę AI do identyfikacji potencjalnych terapii chorób neurodegeneracyjnych, takich jak choroba Alzheimera. Po sztuczną inteligencję sięgnęła również Insilico, opracowując spersonalizowane terapie i leki na bazie genomu.

Istnieje także wiele różnych algorytmów uczenia maszynowego opracowanych przez samą sztuczną inteligencję. Oto kilka najbardziej popularnych: 

• regresja liniowa – mechanizm służący do prognozowania wartości numerycznych na  podstawie danych historycznych;
• drzewa decyzyjne – to z kolei algorytm opracowany do rozwiązywania problemów klasyfikacji i regresji, który opiera się na podejmowaniu decyzji na podstawie serii pytań.

Algorytm k najbliższych sąsiadów (lub algorytm k-nn z ang. k nearest neighbours, KNN) – do klasyfikacji obiektów na podstawie danych o ich cechach i danych o innych, podobnych obiektach;

Także sieci neuronowe służące do nauki modeli AI oraz algorytmy głębokiej nauki powstają przy asyście AI, a niekiedy można mówić, że to sztuczna inteligencja jest ich główną autorką.

W ostatnich latach, po raz pierwszy w historii, naukowcy ze szwajcarskiej politechniki ETH w Zurychu z powodzeniem zautomatyzowali proces modelowania turbulencji w płynach przez połączenie mechaniki płynów ze sztuczną inteligencją. Ich podejście opiera się na połączeniu algorytmów wzmocnionego uczenia maszynowego z symulacjami przepływów turbulentnych przeprowadzonymi w superkomputerze Piz Daint ze Szwajcarskiego Narodowego Centrum Superkomputerowego. Według opisu badań, który ukazał się w periodyku „Nature Machine Intelligence”, naukowcy opracowali nowe algorytmy wzmocnionego uczenia maszynowego (RL) i połączyli je z fizycznym podejściem do modelowania turbulencji.

Naukowcy z Europejskiego Laboratorium Biologii Molekularnej (EBML) połączyli algorytmy sztucznej inteligencji z dwiema najnowocześniejszymi obecnie technikami mikroskopowymi. Dzięki temu czas przetwarzania obrazów skrócił się z dni do zaledwie sekund, a uzyskane obrazy są ostre i dokładne. Wyniki badań zostały opublikowane w „Nature Methods”. Mikroskopia pola świetlnego rejestruje duże obrazy 3D, które pozwalają badaczom śledzić i mierzyć bardzo drobne ruchy, np. bijące serce larwy ryby, przy bardzo dużych prędkościach. Jednak technika ta generuje ogromne ilości danych, których przetwarzanie może trwać wiele dni, a końcowe obrazy zazwyczaj nie mają odpowiedniej rozdzielczości. Mikroskopia arkuszy świetlnych skupia się na pojedynczej płaszczyźnie 2D danej próbki w jednym czasie, dzięki czemu badacze mogą obrazować próbki w wyższej rozdzielczości. W porównaniu do mikroskopii pola świetlnego mikroskopia arkusza świetlnego daje obrazy, które są szybsze w obróbce, ale dane nie są tak wszechstronne, ponieważ przechwytują informacje tylko z jednej płaszczyzny 2D w danym momencie. Aby wykorzystać zalety każdej z technik, naukowcy z EMBL opracowali podejście, które wykorzystuje mikroskopię pola światła do obrazowania dużych próbek 3D i mikroskopię arkusza do szkolenia AI, która następnie tworzy dokładny obraz 3D próbki.

Rosyjscy naukowcy z Moskiewskiego Instytutu Fizyki i Technologii, Instytutu Fizyki i  Technologii im. Waliewa oraz Uniwersytetu ITMO stworzyli w 2020 r. sieć neuronową, która nauczyła się przewidywać zachowanie systemu kwantowego przez „przyglądanie się” jego strukturze podczas tzw. „spacerów kwantowych”, które można zobrazować jako podróż cząstki w pewnej sieci, na której opiera się obwód kwantowy. Wyniki ich badań zostały opublikowane w „New Journal of Physics”. „Udało nam się wytrenować komputer do samodzielnego przewidywania, czy złożona sieć ma przewagę kwantową”, pisał w publikacji Leonid Fedyczkin z Wydziału Fizyki Teoretycznej MIFT.

Są to oczywiście tylko wyrywki z rozlicznych przykładów. Nauka bardzo szeroko korzysta z technik sztucznej inteligencji, od algorytmów pomagających przetwarzać ogromne ilości danych, np. z obserwacji astronomicznych, przez tworzenie nowych metod rozwiązywania problemów matematycznych, po odkrywanie zjawisk i podejść, na które nauka dotychczas nie wpadła w fizyce teoretycznej. 

Mirosław Usidus