Tajemnice mózgu rozszyfrowane za pomocą samouczących się modeli sztucznej inteligencji

streszczenie: Nowe badanie pokazuje, że nasz mózg może wykorzystać proces podobny do „samonadzorowanego uczenia się”, aby zrozumieć świat.

Trenując sieci neuronowe przy użyciu tej techniki uczenia maszynowego, zaobserwowali wzorce naśladujące te występujące w mózgach ssaków. Uważa się, że takie modele zapewniają wgląd w strategię mózgu ssaków dotyczącą tworzenia reprezentacji świata fizycznego.

Ten przełom sugeruje, że sztuczna inteligencja może zapewnić głębsze zrozumienie wewnętrznego funkcjonowania mózgu.

Kluczowe fakty:

1. Proponuje się, że samonadzorowane uczenie się, technika umożliwiająca modelom obliczeniowym rozpoznawanie scen wizualnych na podstawie ich różnic, jest podobne do sposobu uczenia się mózgu.
2. Badanie wykazało, że aktywność neuronów w modelach samonadzorowanych ściśle odzwierciedla aktywność zwierząt wykonujących podobne zadania.
3. Naukowcy z MIT zbadali także funkcje wyspecjalizowanych neuronów, zwanych komórkami siatki, i odkryli, że samonadzorowane modele tworzyły wzorce podobne do tych występujących w mózgu ssaków.

źródło: Instytut Technologii w Massachusetts

Aby móc poruszać się po świecie, nasz mózg musi rozwinąć intuicyjne zrozumienie otaczającego nas świata fizycznego, którego następnie używamy do interpretacji informacji zmysłowych docierających do mózgu.

W jaki sposób mózg rozwija to intuicyjne zrozumienie? Wielu naukowców uważa, że ​​może to obejmować proces podobny do tak zwanego „uczenia się samonadzorowanego”. Ten rodzaj uczenia maszynowego, pierwotnie opracowany jako sposób na tworzenie wydajniejszych modeli widzenia komputerowego, umożliwia modelom obliczeniowym rozpoznawanie scen wizualnych wyłącznie na podstawie ich podobieństw i różnic, bez etykiet i innych informacji.

Dwa badania przeprowadzone przez naukowców z Centrum Integracyjnej Neuronauki Obliczeniowej (ICoN) im. K. Lisy Yang na MIT dostarczają nowych dowodów potwierdzających tę hipotezę.

Naukowcy odkryli, że gdy trenowali modele zwane sieciami neuronowymi przy użyciu określonego rodzaju uczenia się samonadzorowanego, powstałe modele generowały wzorce aktywności bardzo podobne do tych obserwowanych w mózgach zwierząt, które wykonywały te same zadania co modele.

Wyniki sugerują, że modele te są w stanie nauczyć się reprezentacji świata fizycznego, które można wykorzystać do dokładnego przewidywania tego, co wydarzy się w tym świecie, oraz że mózg ssaków może zastosować tę samą strategię – twierdzą naukowcy.

„Tematem naszej pracy jest to, że sztuczna inteligencja zaprojektowana, aby pomóc w budowaniu lepszych robotów, staje się również podstawą lepszego zrozumienia mózgu w ogóle” – mówi Aran Nayby, badacz ze stopniem doktora w ICoN. „Nie możemy jeszcze powiedzieć, czy jest to cały mózg, ale w przypadku różnych skal i obszarów mózgu nasze wyniki wydają się sugerować istnienie zasady organizacyjnej”.

Naibi jest głównym autorem jednego z badań, którego współautorem są Rishi Rajalingham, były badacz z MIT, który obecnie pracuje w Meta Reality Labs, oraz starszy autor Mehrdad Jazayeri, profesor nadzwyczajny w dziedzinie nauk o mózgu i naukach kognitywnych oraz członek Instytutu Badawczego McGovern. Badania mózgu. oraz Robert Yang, adiunkt nauk o mózgu i naukach kognitywnych oraz członek stowarzyszony Instytutu McGovern.

Ella Vitti, dyrektor ICoN Center, profesor nauk o mózgu i naukach kognitywnych oraz członek stowarzyszony Instytutu McGovern, jest główną autorką drugiego badania, którego współprowadzili Mikael Khona, absolwent MIT i Rylan Schiffer, były pracownik naukowy w MIT. Za technologię.

Obydwa badania zostaną zaprezentowane w grudniu 2023 r. na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS).

Modelowanie świata fizycznego

Wczesne modele widzenia komputerowego opierały się głównie na uczeniu się pod nadzorem. Dzięki temu podejściu modele są szkolone w zakresie klasyfikowania obrazów, z których każdy ma swoją nazwę – kot, samochód itp. Powstałe modele działają dobrze, ale tego typu szkolenie wymaga dużej ilości danych oznaczonych przez człowieka.

Aby znaleźć skuteczniejszą alternatywę, badacze w ostatnich latach zwrócili się ku modelom zbudowanym za pomocą techniki zwanej samonadzorowanym uczeniem się wariacyjnym. Ten rodzaj uczenia się pozwala algorytmowi nauczyć się klasyfikować obiekty na podstawie ich podobieństwa do siebie, bez podawania zewnętrznych etykiet.

„To bardzo skuteczne podejście, ponieważ można teraz wykorzystać bardzo duże zbiory nowoczesnych danych, zwłaszcza wideo, i naprawdę uwolnić ich potencjał” – mówi Naibi.

„Wiele współczesnej sztucznej inteligencji, którą teraz widzisz, szczególnie w ciągu ostatnich kilku lat dzięki ChatGPT i GPT-4, jest wynikiem wyszkolenia samonadzorowanej funkcji celu na zbiorze danych na dużą skalę, aby uzyskać bardzo elastyczną reprezentację”.

Tego typu modele, zwane także sieciami neuronowymi, składają się z tysięcy lub milionów połączonych ze sobą jednostek przetwarzających. Każdy węzeł ma połączenia o różnej sile z innymi węzłami w sieci. W miarę jak sieć analizuje ogromne ilości danych, siła tych połączeń zmienia się w miarę, jak sieć uczy się wykonywać wymagane zadanie.

Kiedy model wykonuje określone zadanie, można zmierzyć wzorce aktywności różnych jednostek w sieci. Aktywność każdej jednostki można przedstawić jako wzór odpalania, podobny do wzorców odpalania neuronów w mózgu.

Poprzednia praca Nyby’ego i wsp. wykazała, że ​​paradygmaty samonadzorowanego widzenia generują aktywność podobną do tej obserwowanej w systemie przetwarzania wzrokowego mózgów ssaków.

W obu nowych badaniach NeurIPS naukowcy postanowili sprawdzić, czy samonadzorowane modele obliczeniowe innych funkcji poznawczych mogą również wykazywać podobieństwa do mózgu ssaków.

W badaniu prowadzonym przez Naebi naukowcy przeszkolili samonadzorowane modele, aby przewidywać przyszły stan ich środowiska na podstawie setek tysięcy naturalnych filmów przedstawiających codzienne scenariusze.

„W ciągu ostatniej dekady dominującym sposobem budowania modeli sieci neuronowych w neurobiologii poznawczej było trenowanie tych sieci w zakresie pojedynczych zadań poznawczych. Jednak wytrenowane w ten sposób modele rzadko uogólniają się na inne zadania” – mówi Yang.

„Tutaj testujemy, czy możemy zbudować modele niektórych aspektów poznania, najpierw trenując na danych naturalnych, korzystając z uczenia się pod nadzorem, a następnie oceniając w warunkach laboratoryjnych”.

Po przeszkoleniu modelu badacze uogólnili go do zadania, które nazwali „Mental-Pong”. Przypomina to grę wideo Pong, w której gracz porusza wiosłem, aby uderzyć piłkę podróżującą po ekranie. W wersji Mental-Pong piłka znika na krótko przed uderzeniem w wiosło, więc gracz musi oszacować jej trajektorię, aby ją trafić.

Naukowcy odkryli, że model był w stanie śledzić ścieżkę ukrytej kuli z dokładnością porównywalną do neuronów w mózgu ssaków, co wykazano w poprzednim badaniu Raglinghama i Jazayeri w celu symulacji jej ścieżki – jest to zjawisko poznawcze znane jako „mentalizacja”. symulacja.”

Co więcej, wzorce aktywacji neuronów zaobserwowane w modelu były podobne do tych obserwowanych w mózgach zwierząt podczas zabawy, szczególnie w części mózgu zwanej grzbietowo-przyśrodkową korą czołową. Naukowcy twierdzą, że żadna inna klasa modeli obliczeniowych nie była w stanie tak dokładnie dopasować danych biologicznych jak ten.

„Społeczność zajmująca się uczeniem maszynowym podejmuje wiele wysiłków, aby stworzyć sztuczną inteligencję” – mówi Jazayeri. „Znaczenie tych modeli w neurobiologii zależy od ich zdolności do dalszego uchwycenia wewnętrznego funkcjonowania mózgu. Fakt, że model Arana przewiduje dane neuronowe, jest naprawdę ważny, ponieważ sugeruje, że możemy być coraz bliżej budowy sztucznych systemów naśladujących naturalne inteligencja.”

Nawigacja po świecie

Badanie przeprowadzone przez Khonę, Schiffera i Viti skupiało się na typie wyspecjalizowanych komórek nerwowych, znanych jako komórki siatki. Komórki te, zlokalizowane w korze śródwęchowej, pomagają zwierzętom w poruszaniu się, współpracując z komórkami miejscowymi w hipokampie.

Podczas gdy komórki miejsca są aktywne, gdy zwierzę znajduje się w określonym miejscu, komórki siatki są aktywne tylko wtedy, gdy zwierzę znajduje się na jednym z wierzchołków trójkątnej siatki. Grupy komórek siatki tworzą nakładające się siatki o różnych rozmiarach, co pozwala im zakodować dużą liczbę pozycji przy użyciu stosunkowo małej liczby komórek.

W niedawnych badaniach naukowcy przeszkolili nadzorowane sieci neuronowe, aby naśladowały działanie komórek siatki poprzez przewidywanie następnej lokalizacji zwierzęcia na podstawie jego punktu początkowego i prędkości, co jest zadaniem znanym jako integracja ścieżki.

Jednak modele te polegają na ciągłym dostępie do uprzywilejowanej informacji o przestrzeni absolutnej, informacji, której zwierzę nie posiada.

Zainspirowany niesamowitymi właściwościami kodowania przestrzenno-okresowego kodu komórkowego z wieloma siatkami, zespół z MIT wyszkolił samonadzorowany model wariacyjny, aby wykonywał to samo zadanie integracji ścieżek i efektywnie reprezentował przy tym przestrzeń. Do celów szkoleniowych wykorzystano sekwencje danych wejściowych dotyczących prędkości.

Model nauczył się rozróżniać pozycje na podstawie tego, czy są podobne, czy różne: bliskie pozycje generowały podobne symbole, ale dodatkowe pozycje generowały więcej różnych symboli.

„Jest to podobne do modeli uczenia się obrazu, gdzie jeśli istnieją dwa obrazy głów kotów, ich symbole powinny być podobne, ale jeśli jeden z nich to głowa kota, a drugi ciężarówka, pożądane jest, aby ich symbole kolidowały ze sobą” – mówi Khona. „Przyjmujemy ten sam pomysł, ale stosujemy go do ścieżek przestrzennych”.

Po przeszkoleniu modelu naukowcy odkryli, że wzorce aktywacji węzłów w modelu utworzyły kilka wzorców siatki o różnym czasie trwania, bardzo podobnych do wzorców tworzonych przez komórki siatki w mózgu.

„W tej pracy interesuje mnie to, że łączy ona prace matematyczne nad niesamowitymi informacyjno-teoretycznymi właściwościami kodu komórki siatki z obliczaniem całki po drodze” – mówi Vietti.

„Chociaż praca matematyczna miała charakter analityczny, jakie właściwości ma kod komórki siatki? – Podejście polegające na poprawie efektywności programowania poprzez samonadzorowane uczenie się i uzyskanie regularyzacji podobnej do siatki jest syntetyczne: wykazuje właściwości, które mogą być konieczne i wystarczające do wyjaśnienia, dlaczego obecność komórek siatkówki w mózgu.

Finansowanie: Badania zostały sfinansowane przez K. Lisa Yang ICoN Center, National Institutes of Health, Fundację Simonsa, Fundację McKnighta, Instytut McGovern i Fundację Helen Hay Whitney.

O neuronauce i nowościach z badań nad sztuczną inteligencją

autor: Sarah McDonnell
źródło: Instytut Technologii w Massachusetts
Komunikacja: Sarah McDonnell – Instytut Technologii Massachusetts
zdjęcie: Zdjęcie przypisane Neuroscience News

Oryginalne wyszukiwanie: Wyniki zostaną zaprezentowane na konferencji NeurIPS 2023