Interfejsy mózg-komputer
1875 Odkrycie elektrycznej natury impulsów nerwowych przez Brytyjczyka Richarda Cantona. Było to główną inspiracją późniejszych prac Hansa Bergera.
1924 Za prawdziwy początek historii interfejsów mózg-komputer (maszyna) uznaje się zarejestrowanie przez Hansa Bergera aktywności elektrycznej w mózgu człowieka za pomocą elektroencefalografu (EEG). Jako pierwszy nagrał też ludzką aktywność mózgu za pomocą EEG. Analizując wyniki EEG, Berger potrafił zidentyfikować aktywność mózgu w zakresie fal alfa (8-12 Hz), znanych również jako fale Bergera. Pierwsze urządzenie stworzone przez naukowca było proste. Berger umieszczał srebrne przewody pod czaszkami pacjentów. Te czujniki Berger początkowo łączył z elektrometrem Lippmanna, co nie dawało efektu. Bardziej wyrafinowane urządzenia, takie jak galwanometr Siemensa z podwójną cewką, który pokazywał napięcie elektryczne rzędu jednej tysięcznej wolta, dały wreszcie odczyty.
1952 Hiszpański neurolog José M. Delgado zaczyna wszczepiać zwierzętom i ludziom wyposażone w radio układy elektrod.
1969 Badania przeprowadzone na Uniwersytecie Medycznym w Seattle pokazały po raz pierwszy, że małpy mogą nauczyć się kontrolować ruch zginający robotycznego ramienia za pomocą sprzężenia zwrotnego z ich układem nerwowym (2).
za pomocą wyłącznie aktywności mózgu
1987 Philip Kennedy buduje pierwszy interfejs mózg-komputer działający wewnątrz kory, wszczepiając małpom elektrody do mózgów. W tym samym roku naukowiec założył firmę Neural Signals, zajmującą się rozwojem BCI. Doktor Kennedy przez kolejne de-kady był jednym z najważniejszych naukowców działających na polu rozwoju BCI (3).
implantowanych w mózgu w 2014 roku
połowa lat 90. XX wieku W niektórych ośrodkach badawczych udało się przechwycić skomplikowane sygnały kory ruchowej mózgu. Nagrywano zespoły neuronów i używano ich do kontroli urządzeń zewnętrznych. Ważniejsze grupy badawcze były prowadzone przez Richarda Andersena, Johna Donoghueego, Philipa Kennedy’ego, Miguela Nicolelisa i Andrew Swartza.
Nicolelis, profesor Uniwersytetu Duke’a w Durham w Karolinie Północnej, był orędownikiem korzystania z wielu elektrod rozmieszczonych na większym obszarze mózgu, w celu uzyskania sygnałów neuronowych do kierowania BCI. Takie zespoły neuronowe zwiększają precyzję i ułatwiają kontrolę interfejsu mózg-komputer. Po przeprowadzeniu wstępnych badań na szczurach w 1990 r. Nicolelis i jego koledzy opracowali BCI, które dekodowało aktywności mózgu małp i używało zewnętrznego urządzenia do odtworzenia ruchów małp w ramionach robotów.
1999 Badacze prowadzeni przez Yanga Dana z Uniwersytetu Kalifornijskiego w Berkeley zdekodowali impulsy neuronowe u kotów, co umożliwiło im odtworzenie obrazów widzianych przez zwierzęta (4). Zespół użył siatki elektrod usytuowanych na wzgórzu ciała kolankowatego (które integruje wszystkie bodźce zmysłowe mózgu) kotów. Badacze nakierowali elektrody na 177 komórek mózgowych w obszarze wzgórza ciała kolankowatego bocznego, który dekoduje obrazy z siatkówki. Kotom pokazano osiem krótkich filmów, następnie nagrano impulsy neuronowe z ich mózgów. Korzystając z matematycznych filtrów, badacze zdekodowali sygnały, by utworzyć filmy z tego, co widziały koty i udało im się odtworzyć rozpoznawalne sceny i poruszające się obiekty.
2000 Grupa Miguela Nicolelisa (5) buduje BCI, które odtwarzało ruchy małp w czasie, gdy te operowały joystickiem lub sięgały rękoma po jedzenie. Interfejs ten działał w czasie rzeczywistym i mógł także przesyłać dane zdalnie do innego robota, korzystając z protokołu internetowego. Małpy jednak nie widziały robota ani nie otrzymywały żadnej odpowiedzi od interfejsu, nazwano go więc BCI z otwartą pętlą. Interfejs ten działał w czasie rzeczywistym i mógł także przesyłać zdalnie dane do innego robota, korzystając z Internetu. Późniejsze eksperymenty Nicolelisa na rezusach zaowocowały zamknięciem pętli BCI i pozwoliły odtworzyć ruchy małp w ramionach robotów.
2000 W odpowiedzi na problem komplikacji i czasochłonności opracowywania interfejsów BCI Gerwin Schalk rozwija system BCI2000 ogólnego przeznaczenia do badań, który był rozwijany w kolejnych latach (6).
2005 Tetraplegik (osoba dotknięta porażeniem czterokończynowym), Matt Nagle staje się pierwszym człowiekiem, który kontroluje sztuczną rękę za pomocą interfejsu mózg-komputer (BCI) w ramach projektu BrainGate firmy Cyberkinetics (7).
2008 Pierwszy publiczny pokaz działania interfejsu mózg-komputer w Polsce odbył się na Wydziale Fizyki Uniwersytetu Warszawskiego. W roku 2012 system stworzony przez ów wydział, prezentowano na największych w świecie targach komputerowych CeBIT w Hanowerze. Był to najbardziej zaawansowany i najszybszy z prezentowanych tam interfejsów mózg-komputer.
2013 Ukazuje się głośny komunikat o eksperymencie dwóch naukowców z Uniwersytetu Stanu Waszyngton, którzy połączyli swoje mózgi (nieinwazyjnie, rzecz jasna), dzięki czemu jeden z nich przez internet przejął kontrolę nad ruchami palca kolegi przebywającego w gabinecie po drugiej stronie kampusu uczelni. Rajesh Rao i Andrea Stocco (8) założyli na głowy nafaszerowane elektrodami hełmy.
2013 Profesor inżynierii biotechnologicznej Bin He z Uniwersytetu Minnesoty konstruuje wraz z zespołem miniaturowy helikopter sterowany mocą mózgu. Kierujący śmigłow-cem nakłada czapeczkę z 64 elektrodami. Przekazują one myślowe komendy: w górę, w dół, w prawo i w lewo.
2015 Połączono ze sobą i z komputerem trzy mózgi rezusów, dzięki czemu wspólnie kontrolowały one mechaniczne ramię. Połączone mózgi osiągały lepszą sprawność niż pojedyncze małpy. W tym samym roku badacze z Uniwersytetu Duke połączyli w sieci mózgi czterech szczurów, tworząc pierwszy w świecie komputer-umysł zbiorowy, zaś połączone w sieci szczurze mózgi okazały się zdolne do rozwiązywania różnych, związanych z przetwarzaniem, problemów, klasyfikacją obiektów, a nawet prognozowaniem pogody.
2016 Założenie przez Elona Muska firmy Neuralink w celu opracowania "ultrawysokiej przepustowości interfejsów mózg-maszyna". Pracuje ona nad stworzeniem implantu (9), który pozwoliłby na obsługę komputerów i innych urządzeń elektronicznych za pomocą myśli. Wszczep łączyłyby z mózgiem elastyczne nici z elektrodami. Kilka lat później Elon Musk poinformował o tym, że makak o imieniu Pager, dzięki specjalnemu wszczepowi Neuralink, samym tylko mózgiem obsługiwał komputer.
2017 Amerykańska agencja zaawansowanych projektów badawczych w dziedzinie obronności (DARPA) uruchamia program mający na celu stworzenie implantów neuronowych rejestrujących z dużą wiernością sygnały z miliona neuronów. W tym samym roku Facebook ujawnił, że pracuje nad interfejsami do urządzeń przenośnych, które umożliwią ludziom pisanie na klawiaturze przy użyciu jedynie sygnałów z mózgu.
2019 Naukowcy z Uniwersytetu Kalifornijskiego (UCSF) demonstrują BCI, który za pomocą sztucznej inteligencji i syntezatora mowy może odczytywać proste myśli i transformować je w rozpoznawalną mowę. Naukowcy ci skupiają się na rekonstrukcji słów przez BCI wyłącznie za pomocą aktywności mózgu. Wyszkolili sieć neuronową, aby rozpoznać wzorce w sygnałach i przetłumaczyć je na słowa wypowiadane przez syntezator mowy - vocoder. Wyniki w porównaniu z innymi metodami, które są testowane przez naukowców, różnią się jakością wymowy.
2020 Naukowcy ze Stanfordu opracowują implant mózgowy, który pozwala człowiekowi od szyi w dół "pisać" na klawiaturze do 90 znaków na minutę, przez wyobrażenie sobie, że pisze słowo ręcznie. Sztuczna inteligencja dekodowała sygnały neuronowe i wyświetlała słowo na ekranie.
2020 Niewidoma Hiszpanka Bernardeta Gómez, korzystając z eksperymentalnej techniki, znów jest w stanie rozpoznawać światło, litery, kształty i ludzi, a nawet grać w proste gry wideo. Wszystko to jest możliwe dzięki sygnałom przesyłanym bezpośrednio do jej mózgu za pomocą specjalnego implantu. Kamera osadzona w parze okularów rejestruje pole widzenia pacjenta i przesyła dane do komputera. Komputer tłumaczy je na bodźce elektryczne, które mózg może odczytać i przekazuje je do implantu mózgu za pomocą kabla podłączonego do portu w czaszce. Implant stymuluje neurony w korze wzrokowej pacjenta, które jego mózg interpretuje jako przychodzące informacje sensoryczne. Obraz odbierany ma niską rozdzielczość - pacjent widzi otoczenie w postaci żółtych kropek i kształtów zwanych fosfenami, które uczy się interpretować jako obiekty w otaczającym świecie.
2021 Sparaliżowanemu od szyi w dół mężczyźnie wszczepiono do mózgu elektrody, dzięki którym - wyobrażając sobie pisanie piórem na papierze - przy wsparciu naukowców był w stanie wygenerować tekst na ekranie.
2021 Badaczom z Koreańskiego Instytutu Zaawansowanej Nauki i Technologii (KAIST) udało się przeprogramować zachowanie szczurów laboratoryjnych za pomocą aplikacji na smartfona, umożliwiającej, jak to ujęto w komunikacie prasowym uczelni, "kontrolę mózgu w czasie rzeczywistym". Działanie implantów oparte jest na optogenetyce, technice manipulacji aktywnością neuronów za pomocą światła, na które reagują proteiny w żywym organizmie.
2022 Zespół Jeana-Rémiego Kinga z Meta AI (Facebook) wyszkolił narzędzie do wykrywania słów i zdań z sygnałów aktywności mózgowej na podstawie tysięcy godzin nagrań mowy z ponad pięćdziesięciu języków. Model językowy Meta AI potrafi rozpoznawać specyficzne cechy języka zarówno na poziomie drobnoziarnistym (np. litery i sylaby), jak i na poziomie szerszym, takim jak słowa lub zdania. Zespół zastosował AI z tym modelem językowym do baz danych z czterech grup, które zawierały aktywność mózgu 169 ochotników, którzy słuchali fragmentów literatury, gdy ich mózgi były skanowane za pomocą magnetoencefalografii (MEG) lub elektroencefalografii (EEG). Zespół polecił algorytmom AI dopasować dźwięki mowy z nagrań historii do wzorców aktywności mózgu. Następnie, biorąc pod uwagę ponad tysiąc możliwości, AI przewidywała, co dana osoba słyszy.
Rodzaje interfejsów mózgowych
I. Inwazyjne interfejsy
1. Wzrok
Bezpośrednie implanty mózgowe były stosowane w leczeniu ślepoty nabytej. Jednym z pierwszych naukowców, którzy wyprodukowali działający interfejs BCI, umiejący przywrócić wzrok, był prywatny badacz William Dobelle. Pierwszy prototyp Dobelle’a został wszczepiony "Jerry’emu", człowiekowi oślepionemu w wieku dorosłym, w 1978 roku. Jednosiatkowe urządzenie BCI zawierające 68 elektrod wszczepiono na korę wzrokową Jerry’ego i udało się wygenerować fotyzm, uczucie widzenia światła. System zawierał kamery zamontowane na okulary do wysyłania sygnałów do implantu.
2. Ruch
Naukowcy z Uniwersytetu Emory w Atlancie, na czele z Philipem Kennedym i Royem Bakayem, byli pierwszymi, którzy zainstalowali w 1998 roku implant mózgu u człowieka, który to implant produkował sygnały dobrej jakości, aby symulować poruszanie się. Ich pacjent, Johnny Ray, cierpiał na zespół zamknięcia po wystąpieniu udaru mózgu w jego pniu w 1997 roku. Sparaliżowany Matt Nagle stał się pierwszą osobą zdolną kontrolować sztuczną rękę za pomocą BCI, w 2005 roku, dzięki 96-elektrodowowemu implantowi BrainGate, który pozwolił mu kontrolować ramię robota, gdy myślał o ruchu ręką, a także kursor komputera, światła i telewizor.
II. Częściowo inwazyjne BCI
Częściowo inwazyjne interfejsy mózg-komputer są wszczepiane w czaszkę, ale reszta zostaje na zewnątrz mózgu, a nie w jego istocie szarej. Wytwarzają one sygnały o wyższej rozdzielczości niż nieinwazyjne BCI, w których tkanki kostne czaszki odbijają i deformują sygnały oraz mają niższe ryzyko powstawania tkanki bliznowatej w mózgu niż interfejsy w pełni inwazyjne. Rodzajem częściowo inwazyjnego interfejsu jest elektrokortykografia (wewnątrzczaszkowe EEG - EcoG), która mierzy aktywność elektryczną mózgu spod czaszki w sposób podobny do nieinwazyjnej elektroencefalografii, a elektrody są osadzone w cienkich wkładach z tworzywa sztucznego, które są umieszczone powyżej kory, pod oponą twardą.
III. Nieinwazyjne BCI
1. Elektroencefalografia (EEG)
Badanie polega na odpowiednim rozmieszczeniu na powierzchni czaszki elektrod, które rejestrują zmiany potencjału elektrycznego na powierzchni skóry, pochodzące od aktywności neuronów kory mózgowej i po odpowiednim ich wzmocnieniu tworzą z nich zapis - elektroencefalogram. Niestety, oprócz wrażliwości na hałas, inną istotną barierą w korzystaniu z EEG jako interfejsu mózg-komputer jest intensywne i czasochłonne szkolenie wymagane od użytkowników.
2. MEG i MRI
Magnetoencefalografia (MEG) i funkcjonalne obrazowanie rezonansem magnetycznym (fMRI) były z powodzeniem stosowane jako nieinwazyjne interfejsy mózg-komputer. W jednym ze znanych eksperymentów fMRI pozwoliło na skanowanie dwóch użytkowników gry Pong w czasie rzeczywistym, przez zmianę ich odpowiedzi hemodynamicznej i przepływu krwi przez mózg techniką biofeedbacku.
M.U.
