Jak to działa - proteza sterowana bezpośrednio z mózgu
Jak poinformował dwa lata temu "Journal of Neural Engineering", profesor inżynierii biotechnologicznej Bin He z Uniwersytetu Minnesoty (1) skonstruował wraz z zespołem miniaturowy helikopter sterowany mocą mózgu. Kierujący śmigłowcem nakłada czapeczkę z 64 elektrodami. Przekazują one myślowe komendy: w górę, w dół, w prawo i w lewo.
"Nasze badanie pokazało po raz pierwszy, że można stworzyć latające roboty sterowane myślami", napisał naukowiec. Helikopter wygląda jak zabawka i w zasadzie nią jest, ale prof. Bin He ma znacznie ambitniejsze plany. "Chcemy myślami kontrolować wózek inwalidzki, moim marzeniem zaś jest stworzenie technologii, która pozwoli za pomocą myśli sterować protezami rąk i nóg w sposób jak najbardziej naturalny".
Stworzone przez naukowców urządzenia kierowane impulsami z mózgu są na razie niezwykle kosztownymi i niezbyt sprawnymi prototypami, ale w badania nad mózgiem inwestuje się coraz większe sumy. W przyszłości można się spodziewać przełomowych wynalazków, które ułatwią życie chorym i sparaliżowanym.
Zbudowana na Uniwersytecie Technologicznym Chalmers w USA neuroproteza ręki to, jak donoszą specjalistyczne media, pierwsza tego typu "sterowana myślami" konstrukcja, która jest testowana klinicznie (2). Sterowanie staje się możliwe dzięki nerwowo-mięśniowemu interfejsowi pozwalającemu na komunikację z urządzeniem za pomocą impulsów neuronowych.
Proteza po raz pierwszy została zintegrowana z ciałem pacjenta po amputacji kończyny jeszcze w styczniu 2013 r. Naukowcy wykorzystali technikę nazywaną "osseointegracją" (zakotwiczoną na kości) do wykonania połączenia protezy z ciałem. Jednak kontrola sztucznej kończyny przebiegała za pomocą zewnętrznych elektrod.
Dopiero niedawno ciało pacjenta, mężczyzny ze Szwecji, zostało w pełni zintegrowane z protezą, za pomocą wewnętrznych nerwowych połączeń z sensorami w protezie. Komunikacja jest dwustronna - proteza może przesyłać sygnały i bodźce w drugą stronę do mózgu.
Technika, która wie, że myślisz, ale nie wie, o czym
W nowych projektach wykorzystuje się doświadczenia wielu lat prac nad tzw. Brain- Computer Interface (BCI), czyli urządzeniami pozwalającymi na komunikację za pomocą myśli, poprzez odczyt fal mózgowych, bez pośrednictwa mięśni. Technika BCI wykorzystuje odczytywanie za pomocą elektroencefalografu (EEG) zapisu aktywności bioelektrycznej mózgu. Nie chodzi oczywiście o treść myśli. Poznajemy jedynie sposoby pracy dużych grup neuronów.
Czyli, można powiedzieć, nie to, "co" myślimy, tylko "jak" myślimy, w sensie aktywności obszarów mózgu i określonych zespołów komórek mózgowych. Dzięki EEG możemy np. rozpoznać, które z nich w danym momencie intensywniej pracują. Elektrody elektroencefalografu są nieinwazyjne, w odróżnieniu od elektrokortykografii (ECoG), w której sensory umieszcza się na korze mózgowej, co oczywiście wymaga przeprowadzenia operacji chirurgicznej.
Teoretycznie oprócz EEG możliwe jest użycie innych nieinwazyjnych metod z czujnikami rozmieszczonymi na powierzchni głowy. Należą do nich magnetoelektroencefalografia (MEG), do rejestracji aktywności magnetycznej mózgu, oraz funkcjonalny rezonans magnetyczny (functional Magnetic Resonance Imaging - fMRI), w którym mierzy się zmiany natlenienia aktywnych obszarów mózgu.
Zamiast fMRI można też zastosować spektroskopię w podczerwieni (Near Infrared Spectroscopy - NIRS) jako technikę oceny aktywności kory mózgowej. Wszystkie te metody mogą zostać użyte w interfejsie mózg-komputer, ale mają praktyczne wady. Sprzęt do MEG i fMRI ma duże rozmiary i jest bardzo drogi. Z kolei NIRS oraz fMRI mają słabą rozdzielczość czasową.
Aktywność elektryczną w mózgu człowieka odkrył i rozwój elektroencefalografii zapoczątkował Hans Berger w 1924 r. Zastosowany przez Bergera galwanometr Siemensa z podwójną cewką, który pokazywał napięcie elektryczne rzędu 0,001 V pozwolił skutecznie rejestrować efekty bioelektryczne.
W 1969 r. badania na Uniwersytecie Waszyngtońskim w Seattle pokazały po raz pierwszy, że małpy mogą nauczyć się kontroli ugięcia ramienia robota za pomocą biologicznego sprzężenia zwrotnego z mózgiem. W latach 80. XX w. Apostolos Georgopoulos na Uniwersytecie Johns Hopkins odkrył matematyczny związek między elektrycznymi sygnałami neuronów kory ruchowej małp i kierunkiem, w którym ruszały swoje ramiona.
W połowie lat 90. udało się w niektórych ośrodkach badawczych przechwycić skomplikowane sygnały kory ruchowej mózgu. Nagrywano zespoły neuronów, używając ich do kontroli urządzeń zewnętrznych. Pierwszy połączony z korą mózgową interfejs mózg-komputer zbudowano w zespole Philipa Kennedy'ego, przez wszczepienie elektrod do mózgów małp.
W 2000 r. badacze pod wodzą Miguela Nicoleisa stworzyli system BCI, który odtwarzał ruchy małp w czasie, gdy te operowały joystickiem lub sięgały rękoma po jedzenie. Interfejs ten działał w czasie rzeczywistym i mógł także przesyłać dane zdalnie do innego robota, korzystając z Internetu. Początkowo małpy nie widziały robota i system ten nazwano BCI z otwartą pętlą.
W późniejszych eksperymentach "zamknięto pętlę", co oznacza, że małpy miały sprzężenie zwrotne w postaci widoku ramion poruszanego przez nie robota na ekranie. Późniejsze eksperymenty typu BCI koncentrowały się na zmniejszaniu liczby "nagrywanych" neuronów oraz rozwinięciu zdolności kontroli ruchów maszyn w przestrzeni trójwymiarowej.
Cztery rodzaje fal mózgowych
Sukcesy techniki BCI są możliwe dzięki coraz bardziej wyrafinowanym metodom badania mózgu. Praca centralnego organu nerwowego zwierząt doświadczalnych jest analizowana za pomocą światła laserowego, barwników fluorescencyjnych, sond magnetycznych oraz połączonych ze sobą setek elektrod o średnicy zaledwie kilku mikrometrów. Elektrody wykonane są z krzemu, irydu, platyny, stali lub wolframu.
Naukowcy rozpoznają wzory sygnałów elektrycznych w mózgu, które pojawiają się w określonych sytuacjach. Pacjent uczy się świadomego wytwarzania tych wzorów, aby siłą myśli wprawić przedmiot w ruch. Liczba elektrod wykorzystywanych w pomiarze czynności elektrycznej mózgu, jak też ich lokalizacja na powierzchni głowy mogą być bardzo różnorodne.
W badaniach naukowych stosuje się od kilku do nawet kilkuset elektrod, które mogą być w przybliżeniu równomiernie rozmieszczone na powierzchni głowy lub skoncentrowane tylko w pewnych jej obszarach. W praktyce klinicznej i badawczej elektrody pomiarowe rozlokowywane są na powierzchni głowy, według pewnego międzynarodowego standardu, opracowanego w latach 50. ubiegłego wieku - tzw. Systemu 10-20.
Pomiary czynności elektrycznej mózgu dokonuje się w tym systemie za pomocą 19 elektrod rozmieszczonych w miejscach, które wyznacza się po uprzednim zmierzeniu pewnych charakterystycznych wymiarów głowy, oraz dwóch elektrod referencyjnych przyczepionych w okolicach uszu (3). Nazwy elektrod Systemu 10-20 zawierają cyfry, które są nieparzyste dla elektrod umieszczonych po lewej stronie głowy i parzyste dla elektrod po prawej stronie.
W naszym mózgu zachodzą procesy elektrochemiczne, które odzwierciedlane są w formie impulsów elektrycznych. Impulsy te można zmierzyć za pomocą urządzenia EEG, które podaje nam informacje na temat częstotliwości drgań fal mózgowych - jednostkę tego pomiaru stanowi herc (Hz). Istotną cechą fal jest to, że ich amplituda nie jest stała, lecz bardzo ściśle związana z zadaniami, które wykonujemy.
W falach mózgowych, zmierzonych za pomocą elektroencefalografu, wyróżnia się cztery zakresy częstotliwości: alfa, beta, theta oraz delta (4). Fale o częstotliwości od 14 do 30 Hz to fale beta, towarzyszące stanowi największej "przytomności" umysłu, człowiek jest wtedy nastawiony na odbiór bodźców zewnętrznych za pomocą zmysłów.
Nasz mózg w tym stanie potrafi przetwarzać i analizować dane. Fale beta rejestruje się w płacie czołowym, a ich amplituda nie przekracza 20 mV (mikrowoltów). Fale o częstotliwości od 7 do 13 Hz to fale alfa - ten rodzaj fal charakteryzuje stan tuż przed zaśnięciem lub w chwili, gdy się budzimy. Fale o częstotliwości od 4 do 7 Hz to fale theta - powstają wówczas, gdy całkowicie odizolujemy się od bodźców zewnętrznych - jest to stan transu, który pozwala na bardzo głęboką medytację.
Ten rytm towarzyszy nam również przez część snu, występuje też w stanach depresji. Amplituda napięcia wynosi ok. 100 mV (mikrowoltów). Fale o częstotliwości od 0,5 do 4 Hz, zwane delta, typowe są dla stanu nieświadomości, np. głębokiego snu. Wówczas nic nam się nie śni, a organizm się regeneruje. Amplituda napięcia przekracza 100 mV.
Człowiek jest w stanie sterować ruchami protezy, kontrolując i odpowiednio modulując fale mózgowe, które następnie odczytywane są przez system przekładający te sygnały na polecenia dla protezy. Najbardziej zaawansowane technologicznie i jednocześnie najtrudniejsze do realizacji są interfejsy asynchroniczne, w których wykorzystuje się sygnały generowane w efekcie wyobrażania sobie ruchu. Okazuje się, że aktywności mózgu są bardzo zbliżone do siebie podczas wykonywania ruchu i podczas jego wyobrażania. Dzięki temu użytkownik nie musi wykonywać ruchu, a wystarczy, że go sobie wyobraża.
Ponadto zróżnicowana jest lokalizacja obszarów aktywności mózgu stosownie do wybranych części ciała. Daje to możliwość odpowiedniego zaklasyfikowania intencji użytkownika, a co za tym idzie, zbudowania układu wykonawczego, w którym np. wyobrażenie ruchu prawą ręką powoduje skręt wózka inwalidzkiego w prawą stronę, lewą ręką - w lewą stronę, a prawą stopą - ruch do przodu.
Podczas analizy sygnałów powstałych w wyniku wyobrażania sobie ruchu mówi się o desynchronizacji i synchronizacji potencjałów mózgowych skojarzonych z tymi intencjami. Ważną wskazówką prowadzącą do właściwej detekcji sygnałów EEG jest podział obszarów kory mózgowej według ich funkcji.
Wiedza anatomiczna pozwala skojarzyć miejsca na głowie z wyobrażeniami ruchu pewnych części ciała (5). Przykładowo, wyobrażanie sobie ruchu lewą ręka powoduje wzrost aktywności mózgu pod elektrodą oznaczoną jako C3. Wyobrażenie ruchu stopami objawia się najbardziej na elektrodzie oznaczonej jako Cz. Rozróżnienie "wyobrażeń ruchu" pomiędzy prawą a lewą stopą z pomocą EEG nie jest możliwe z użyciem zwykłych, tych najpopularniejszych urządzeń BCI.
Odpowiadające im obszary mózgu leżą zbyt blisko siebie. Podobnie jest z wyobrażeniem ruchu poszczególnymi palcami. Natomiast obszary rąk, stóp i języka wyróżnione są sporymi różnicami topograficznymi, dlatego też najczęściej wykorzystuje się je jako obiekty zadań myślowych.
Uzdatnianie sygnału
W celu odczytania i właściwej interpretacji zarejestrowanych sygnałów EEG, trzeba je wydobyć, wyselekcjonować i dokonać klasyfikacji (6). Pozyskanie owych sygnałów jest zadaniem trudnym. Wiadomo, że różne części mózgu odpowiadają za aktywność różnych elementów ludzkiego ciała, ale ich rozmieszczenie może ulegać pewnym zmianom. Stąd właściwe umiejscowienie elektrod to spore wyzwanie. Sygnały odebrane z elektrod mają bardzo małe poziomy (do 100 mV) i są obarczone całym szeregiem zakłóceń oraz szumów (7).
Źródłem zakłóceń są artefakty wprowadzane przez procesy fizjologiczne (aktywność mięśni, ruch gałek ocznych, praca serca i inne) oraz zjawiska techniczne, jak np. sieć elektroenergetyczna. Z tych przyczyn proces uzdatniania sygnałów EEG ma bardzo duże znaczenie. Trzeba w sposób znaczący wzmocnić sygnał, uwzględnić napięcia generowane na styku skóra-elektroda, odfiltrować zakłócenia o częstotliwości sieci elektroenergetycznej oraz dokonać filtracji sygnału.
Wzmocnione sygnały, pochodzące z kilku, a czasem nawet kilkudziesięciu elektrod, są dalej przetwarzane do postaci cyfrowej i przekazywane do komputera. Tam zwykle, w pierwszym etapie, realizowane jest dalsze, ale już cyfrowe przetwarzanie sygnału, zwane przetwarzaniem wstępnym (preprocessing).
Efektem przetwarzania wstępnego jest sygnał EEG odfiltrowany, pozbawiony artefaktów i w sposób bardziej przejrzysty eksponujący oczekiwane cechy. Następnym etapem jest ekstrakcja cech sygnału EEG, takich, które w sposób najbardziej przejrzysty opisywać będą oczekiwane właściwości sygnału.
Najczęściej używane cechy to amplituda lub rozkład widmowy. Selekcja cech jest niełatwym zadaniem. Chociaż znane są ogólne właściwości sygnału, przypisane konkretnym zdarzeniom, to pozostają one różne dla różnych użytkowników. Mało tego, mogą się zmieniać z dnia na dzień, a nawet z sesji na sesję. Dlatego też selekcję cech warto powtarzać przed każdym użyciem interfejsu.
Innym, ważnym elementem, po części wiążącym się z procesem selekcji cech, jest wskazanie najlepszych elektrod (selekcja elektrod), z których powinien być odczytany sygnał EEG. Selekcja ta może polegać na zliczeniu wybranych cech, przypadających na konkretną elektrodę. W późniejszym etapie, dla konkretnego użytkownika, można użyć zmniejszonej liczby elektrod, zlokalizowanych we wskazanych obszarach.
Warto podkreślić, że istotne znaczenie ma szybkość działania algorytmów cyfrowego przetwarzania sygnału EEG, gdyż muszą być one wykonywane w czasie rzeczywistym - opóźnienia tych mechanizmów to opóźnienia ruchu. Jeśli wgłębimy się w publikacje na temat interfejsów BCI sterujących maszynami, w tym także protezami czy egzoszkieletami, to szybko zauważymy, że to jedna z największych bolączek i problemów do przezwyciężenia przez tę gałąź technologii.
Ostatnim etapem działania interfejsu mózg-komputer jest wykorzystanie sygnału wyjściowego do sterowania elementu wykonawczego, generującego pewne zdarzenie jako efekt intencji użytkownika. Elementem takim może być w interesującym nas przypadku proteza ręki, nogi, wózek czy części egzoszkieletu.
Wykorzystać nerwy
Opisany wyżej system pomija zachowane, prowadzące do kończyn nerwy. Po prostu przekazuje sygnały do pośredniczącego komputera, który steruje modułami mechanicznymi. W protezach bionicznych, odbierających sygnały z nerwów, jakie zachowały się w kikucie ręki lub nogi, do której przytwierdzono protezę, działa to nieco inaczej.
Technikę polegającą na wykorzystaniu połączeń nerwowych z mózgiem, którymi dysponuje organizm człowieka po np. stracie kończyny w wypadku, wykorzystuje się w urządzeniach wymienianych w artykule tego Tematu numeru o "człowieku-cyborgu".
Jedna z nich to CYBERHAND. Naturalna ludzka ręka jest kontrolowana dzięki "nerwowym" rozkazom kierowanym z centralnego do peryferyjnego systemu nerwowego, np. ręki. Równocześnie przenoszone są informacje dotyczące pozycji palców, siły uścisku czy ślizgania się przedmiotów, przekazywane z naturalnych sensorów (mechanoreceptory, wrzeciona mięśnia) do centralnego systemu nerwowego poprzez pobudzanie dośrodkowych peryferyjnych nerwów. Według takiej samej zasady ma pracować "cybernetyczna ręka" CYBERHAND. Główne jej komponenty to:
- regenerujące elektrody (rejestrujące impulsy z nerwów odprowadzających i dośrodkowych);
- system implantów stymulujących układ nerwowy, które mają dostarczyć reakcje czuciowe do systemu nerwowego pacjenta, oraz w drugą stronę - rejestrować zamiar osoby i przekazać informacje do protezy;
- telemetryczne łącze (odbiornik i nadajnik), zarówno dla sygnałów odprowadzających, jak i dośrodkowych systemu nerwowego;
- mechaniczny system sterujący z osadzonymi biometrycznymi sensorami o precyzji zbliżonej do tej uzyskiwanej za pomocą naturalnych kończyn;
- zewnętrzny układ dekodujący zamiary pacjenta;
- system dostarczający "poznawczą" reakcję do pacjenta.
Gdy nic nie działa
Z kolei układ pomijający połączenia nerwowe i przekazujący sygnały bezpośrednio do maszyny sprawdzić się może w przypadku osoby sparaliżowanej. U niej na żadne sygnały nerwowe nie można liczyć, bo paraliż na tym właśnie polega, że tych sygnałów po prostu nie ma.
Dla pacjentów całkowicie unieruchomionych, niezdolnych nawet do mówienia, niemieccy uczeni z Uniwersytetu w Tybindze stworzyli mentalne połączenie z komputerem. Aby przesunąć kursor na ekranie monitora, pacjent musi jedynie odpowiednio kontrolować swoje myśli. Elektrody przyczepione do głowy osoby siedzącej przed komputerem odczytują elektryczne impulsy w korze mózgowej.
Zależnie od wyników odczytu kursor na monitorze przesuwa się w górę albo w dół. W trakcie odpowiedniego treningu chory uczy się kierować swoimi falami mózgowymi. Naukowcy opracowali specjalny edytor tekstu, dzięki któremu po kilku tygodniach treningu można już w miarę swobodnie przekazywać swoje opinie, pytania czy prośby. W ten sposób po sześciu latach osamotnienia nawiązał kontakt z otoczeniem pewien całkowicie sparaliżowany Turek o imieniu Mehmet.
Amerykanie poszli jeszcze dalej. Uczeni z Emory University School of Medicine w Atlancie zdecydowali się wszczepić dwóm ochotnikom elektrody bezpośrednio do mózgu. Pobudzane w trakcie myślenia komórki nerwowe emitują sygnał elektryczny, przekazywany do zewnętrznego odbiornika. Pacjent musi sobie wyobrażać ruch różnymi częściami ciała. Po niedługim treningu potrafi przesunąć kursor w wybrane miejsce ekranu.
Leslie Baugh, sterujący aż dwiema protezami rąk, potrzebował zaledwie dziesięciu dni ćwiczeń, aby sprawnie wykonywać takie czynności, jak przenoszenie szklanki. Ogromnym osiągnięciem w tych sławnych eksperymentach była możliwość sterowania dwiema rękami jednocześnie, czego w dotychczasowych konstrukcjach nie udawało się osiagnąć.
Wykorzystany w tym przypadku system opiera się na elektromiografii powierzchniowej (SEGM), czyli pomiarze sygnału elektrycznego związanego z aktywacją mięśni, która następuje na skutek ich skurczu. Gdy mięsień się kurczy, potencjał elektryczny na poziome mikrowoltów może być zmierzony na powierzchni skóry nad mięśniem.
Przypomina to pomiar aktywności mięśnia sercowego (EKG), z tą różnicą, że pomiar pochodzi z mięśnia szkieletowego, a nie z serca. Jest to technika stosowana np. w sporcie - pozwala na uzyskanie parametrów potrzebnych do oceny techniki ruchu zawodnika.
Elektromiografia powierzchniowa umożliwia w nieinwazyjny i niebolesny sposób pomiar potencjału elektrycznego mięśni. Badanie elektromiograficzne (EMG), polegające na pomiarze sygnału elektrycznego wytworzonego przez mięsień w trakcie skurczu oraz ocenie czasu trwania potencjału, jego amplitudy i kształtu, znajduje zastosowanie w stomatologii. Poddawany analizie jest zarówno zapis spoczynkowy, jak i wysiłkowy jednostki motorycznej.
Podczas niewielkiego i umiarkowanego wysiłku zdrowego mięśnia rejestrowane są pojedyncze potencjały jednostki ruchowej. Aktywność mechaniczną mięśnia poprzedza rejestracja aktywności elektrycznej - jest to opóźnienie elektromechaniczne (EMD), które zależy m.in. od temperatury i struktury mięśnia oraz warunków jego działania. Pomimo tego, pomiary EMG dość dobrze charakteryzują mechaniczną aktywność mięśni.
Jeśli jednak mówimy o wykorzystaniu EEG jako interfejsu mózg-maszyna, to trzeba pamiętać, że wymaga to od uczestników eksperymentów intensywnego i długotrwałego szkolenia. Kto zetknął się z takimi rodzajami ćwiczeń koncentracji, jak bio-feedback (np. dla uczniów lub sportowców), ten wie, że wyuczenie odpowiednich poziomów skupienia, które pobudzą elektrody, wymaga dużo pracy i czasu. A zatem sterowanie umysłem to nie tylko wyzwanie techniczne. Sporo pracy i wysiłku wymaga się tu także od człowieka.
