Mindwriting – oprogramowanie umożliwiające zamianę pomysłów dotyczących pisma ręcznego na słowa i zdania

Program Stanford Scholars konwertuje „pismo odręczne” na słowa i zdania na ekranie.

Nazwał to „pisaniem pomysłów”.

Połączenie wysiłku umysłowego i nowoczesnej technologii pozwoliło mężczyźnie ze sparaliżowanymi kończynami na komunikowanie się za pośrednictwem wiadomości tekstowych z prędkością dorównującą prędkości jego zdrowych rówieśników, którzy wysyłali SMS-y na smartfony.

Badacze ze Stanford połączyli program sztucznej inteligencji z urządzeniem, zwanym interfejsem mózg-komputer, wszczepionym do mózgu sparaliżowanego mężczyzny. Program był w stanie dekodować informacje z BCI, aby szybko przekształcić myśli mężczyzny na temat pisma ręcznego na tekst na ekranie komputera.

Mężczyzna był w stanie pisać w ten sposób ponad dwukrotnie szybciej niż przy użyciu wcześniejszej metody opracowanej przez badaczy ze Stanford, którzy opisali te wyniki w 2017 roku w czasopiśmie eLife.

Nowe wyniki, które zostaną opublikowane w Internecie dzisiaj (12 maja 2021 r.) W godz Natura, Katalizacja dalszego postępu może przynieść korzyści setkom tysięcy Amerykanów i milionom na całym świecie, którzy utracili zdolność mówienia lub używania kończyn górnych z powodu urazów rdzenia kręgowego, udarów lub stwardnienia zanikowego bocznego, znanego również jako choroba Lou Gehriga, powiedział Jimmy Henderson: MD, profesor neurochirurgii.

„Takie podejście pozwoliło sparaliżowanej osobie na formułowanie zdań z prędkością mniej więcej podobną do tych, jakie mają zdrowe osoby dorosłe w tym samym wieku, pisząc na smartfonie” – powiedzieli Henderson, John i Jane Bloom-profesor Robert i Ruth Halperin. „Celem jest przywrócenie zdolności komunikowania się za pośrednictwem tekstu”.

Uczestnik badania tworzył tekst z szybkością około 18 słów na minutę. Dla porównania, zdrowe osoby w tym samym wieku potrafią uszczypnąć około 23 słów na minutę na smartfonie.

Uczestnik, określany jako T5, stracił praktycznie wszystkie ruchy w dół szyi z powodu urazu rdzenia kręgowego w 2007 roku. Dziewięć lat później Henderson umieścił po lewej stronie dwa plastry interfejsu mózg-komputer, każdy wielkości dziecięcej aspiryny. stronie mózgu T5. Każdy chip zawiera 100 elektrod, które wychwytują sygnały z neuronów działających w części kory ruchowej – obszarze na zewnątrz mózgu – która kontroluje ruch ręki.

Te sygnały nerwowe są przesyłane przewodami do komputera, gdzie algorytmy AI dekodują sygnały i przewidują zamierzony ruch ręki i palców T5. Algorytmy zostały zaprojektowane w Laboratory of Neural Translation for Prothetics na Uniwersytecie Stanforda, współkierowali dr Henderson i Krishna Shinui, profesor elektrotechniki i profesor inżynierii w Hong C i Vivian W.M. Lim.

Shenoy i Henderson, którzy współpracują przy BCI od 2005 roku, są głównymi współautorami nowego badania. Głównym autorem jest dr Frank Willett, naukowiec zajmujący się badaniami laboratoryjnymi i Howard Hughes Medical Institute.

„Dowiedzieliśmy się, że mózg zachowuje zdolność opisywania subtelnych ruchów po dekadzie utraty zdolności organizmu do wykonywania tych ruchów” – powiedział Willett. „Dowiedzieliśmy się, że złożone zamierzone ruchy, które obejmują zmianę prędkości i zakrzywione ścieżki, takie jak pismo odręczne, można łatwiej i szybciej zinterpretować za pomocą naszych algorytmów sztucznej inteligencji, zamiast prostszych zamierzonych ruchów, takich jak przesuwanie kursora po prostej linii w stałą prędkość. Wzajemnie, więc łatwo je rozróżnić ”.

W badaniu z 2017 roku trzech uczestników z paraliżem kończyn, w tym T5 – wszyscy z BCI umieszczonymi w korze ruchowej – zostali poproszeni o skupienie się na używaniu ręki i dłoni do przesuwania kursora z jednego klawisza do drugiego na ekranie klawiatury komputera. , Następnie skoncentruj się na kliknięciu tego klawisza.

W tym badaniu T5 zdefiniował to, co dotychczas było zapisem historycznym: kopiował wyświetlane zdania z prędkością około 40 znaków na minutę. Inny uczestnik badania był w stanie pisać w locie, wybierając żądane słowa, z prędkością 24,4 litery na minutę.

Jeśli paradygmat stojący za badaniem z 2017 roku jest podobny do pisania, to paradygmat w badaniu New Nature jest podobny do pisma ręcznego. T5 skupił się na próbie pisania pojedynczych liter alfabetu na sztucznej tablicy prawniczej za pomocą wyimaginowanego pióra, mimo że nie był w stanie poruszyć ręką ani ręką. Powtarzał każdą literę 10 razy, pozwalając programowi „nauczyć się” rozpoznawać sygnały nerwowe związane z jego wysiłkami związanymi z napisaniem tej konkretnej litery.

Podczas wielu wielogodzinnych sesji, które nastąpiły, T5 otrzymywał grupy zdań i poinstruował, aby podjąć wysiłek umysłowy, aby „napisać” każde zdanie. Wielkie litery nie są używane. Przykłady zdań to: „Zbojkotowałem i nie mogłem milczeć” oraz „W ciągu trzydziestu sekund armia wylądowała”. Z biegiem czasu algorytmy poprawiły swoją zdolność do rozróżniania wzorców odpalania neuronów, które charakteryzują różne postacie. Algorytm interpretacji jakiejkolwiek litery, którą próbuje wpisać T5, pojawia się na ekranie komputera po upływie około pół sekundy.

W innych sesjach T5 został poinstruowany, aby transkrybował ciągi, których algorytmy nigdy nie napotkały. W końcu udało mu się wygenerować 90 liter, czyli około 18 słów na minutę. Później został poproszony o udzielenie odpowiedzi na pytania otwarte, które wymagały przerw w myśleniu, i wygenerował 73,8 znaków (średnio prawie 15 słów) na minutę, trzykrotnie więcej niż poprzedni rekord swobodnego składu zidentyfikowany w badaniu z 2017 roku. .

Współczynnik błędów transkrypcji zdań w T5 wynosił około 1 błędu na każde 18 lub 19 znaków próby. Jego współczynnik błędu swobodnego wynosił około 1 na 11 lub 12 znaków. Kiedy badacze użyli funkcji autokorekty post-prawdy – podobnej do tej wbudowanej w klawiaturach smartfonów – do uporządkowania rzeczy, te wskaźniki błędów były znacznie niższe: mniej niż 1% w przypadku kopiowania i nieco ponad 2% w przypadku darmowego kopiowania.

Te wskaźniki błędów są bardzo niskie w porównaniu z innymi BCI, powiedział Chenoy, który jest również badaczem w Howard Hughes Medical Institute.

„Chociaż pismo ręczne może zbliżać się do 20 słów na minutę, zwykle mówimy około 125 słów na minutę i jest to kolejny ekscytujący trend, który uzupełnia pismo odręczne. Połączone razem te systemy mogą zaoferować pacjentom więcej opcji skutecznej komunikacji” – powiedział Shinui.

Odniesienie: 12 maja 2021 r Natura.
DOI: 10.1038 / s41586-021-03506-2

BCI użyty w badaniu jest prawnie ograniczony do użytku eksperymentalnego i nie został jeszcze zatwierdzony do użytku komercyjnego.

Biuro Licencjonowania Technologii Uniwersytetu Stanforda złożyło wniosek o patent na własność intelektualną związaną z twórczością Willetta, Hendersona i Shinoya.

Henderson i Shinui są członkami Wu Cai Institute of Neuroscience w Stanford i Stanford BioX.

Współautorem badania był dr Donald Avancino, inżynier oprogramowania w Laboratorium Protetyki Przejściowej.

Wyniki badania są najnowszym rozdziałem długoterminowej współpracy między Henderson, Shinui, konsorcjum międzyinstytucjonalnym i badania klinicznego o nazwie BrainGate2 (NCT00912041). Współautor badania dr med. Leigh Hochberg, neurolog i neuronaukowiec z Massachusetts General Hospital, Brown University i Providence Veterans Affairs Healthcare System w Rhode Island jest sponsorem i badaczem BrainGate2.

Badanie zostało sfinansowane przez Wu Tsai Institute of Neuroscience, Howard Hughes Medical Institute, US Department of Veterans Affairs oraz National Institutes of Health (granty UH2NS095548, R01DC009899, ​​R01DC017844, R01DC014034 i U01NS098968), Larry i Pamela Garetti , Fundacja Samuela i Pameli Reeves.