Napretkom u elektronici i neuroznanosti istraživači su uspjeli postići izvanredne stvari pomoću uređaja za implantaciju mozga, poput vraćanja vida slijepima. Osim obnavljanja tjelesnih osjetila, znanstvenici također traže inovativne načine kako olakšati komunikaciju onima koji su izgubili sposobnost govora. Na primjer, novi "dekoder" koji prima podatke s elektroda implantiranih unutar lubanje može pomoći paraliziranim pacijentima da govore samo svojim umom.
Istraživači sa Sveučilišta u Kaliforniji, San Francisco (UCSF) razvili su dvostupanjsku metodu za pretvaranje signala mozga u računalno sintetizirani govor. Njihovi rezultati objavljeni ovaj tjedan u znanstvenom časopisu Nature pružaju mogući put ka fluidnijoj komunikaciji ljudima koji su izgubili sposobnost govora.
Godinama su znanstvenici pokušavali iskoristiti neuronske unose kako bi vratili glas ljudima čija neurološka oštećenja onemogućavaju im da govore - poput preživjelih od moždanog udara ili bolesnika s ALS-om. Do sada su mnoga od ovih računalnih sučelja između mozga i računala sadržavala slovo po pismo, u kojem pacijenti pomiču oči ili mišiće lica kako bi ukazali na svoje misli. (Stephen Hawking izvrsno je usmjeravao svoj sintesajzer govora malim pokretima u obraz.)
Ali ove vrste sučelja su spore - najviše se proizvodi 10 riječi u minuti, što je djelić prosječne ljudske brzine od 150 riječi u minuti. Za bržu i fluidniju komunikaciju, UCSF istraživači su koristili algoritme dubokog učenja kako bi neuronske signale pretvorili u izgovorene rečenice.
"Mozak je netaknut kod ovih bolesnika, ali neuroni - putevi koji vode do vaših ruku ili usta ili nogu - razbijeni su. Ti ljudi imaju visoko kognitivno funkcioniranje i sposobnosti, ali ne mogu izvršavati svakodnevne zadatke poput pokretanja ili kazivanja bilo čega, “kaže Gopala Anumanchipalli, autor novog studije i pridruženi istraživač, specijaliziran za neurološku kirurgiju na UCSF. "Mi zaobilazimo put koji je razbijen."
Istraživači su započeli s podacima o moždanoj aktivnosti visoke rezolucije, prikupljenim od pet dobrovoljaca tijekom nekoliko godina. Ti su sudionici - koji su svi imali normalnu govornu funkciju - već prošli postupak praćenja epilepsije, koji je uključivao implantaciju elektroda izravno u mozak. Changov tim koristio je ove elektrode za praćenje aktivnosti na govornim područjima mozga dok su pacijenti čitali stotine rečenica.
Odatle je tim UCSF-a radio dvostupanjski postupak za ponovno stvaranje izgovorenih rečenica. Prvo su stvorili dekoder za tumačenje snimljenih obrazaca moždane aktivnosti kao upute za pomicanje dijelova virtualnog glasnica (uključujući usne, jezik, čeljust i grkljan). Zatim su razvili sintesajzer koji je koristio virtualne pokrete za proizvodnju jezika.
Ostala su istraživanja pokušala dekodirati riječi i zvukove izravno iz neuronskih signala, preskačući srednji korak pokreta dekodiranja. Međutim, istraživanje koje su istraživači s UCSF-a objavili prošle godine sugerira da se govorni centar vašeg mozga usredotočio na to kako pomicati glasnice da bi stvarali zvukove, a ne na kakvi će rezultirati zvukovi.
"Obrasci aktivnosti mozga u govornim centrima posebno su usmjereni na koordinaciju pokreta glasnica i samo su posredno povezani sa zvukovima govora", Edward Chang, profesor neurološke kirurgije na UCSF i koautor novog rada, rekao je na brifingu za ovaj tjedan. "Mi izričito pokušavamo dekodirati pokrete kako bismo stvorili zvukove, za razliku od izravno dekodiranja zvukova."
Primjer vrste implantata mozga intrakranijalnih elektroda koje se koriste za bilježenje moždane aktivnosti. (UCSF) Koristeći ovu metodu, istraživači su uspješno izmijenili riječi i rečenice iz moždanih aktivnosti koje su otprilike odgovarale audio snimkama govora sudionika. Kada su pitali volontere na internetskoj platformi za gužvanje resursa da pokušaju prepoznati riječi i prepisati rečenice pomoću banke riječi, mnogi od njih mogli su razumjeti simulirani govor, iako je njihova točnost bila daleko od savršene. Od 101 sintetiziranih rečenica, oko 80 posto ih je barem jedan slušatelj savršeno prepisao pomoću banke s 25 riječi (ta se stopa smanjila na oko 60 posto kada se veličina riječi banke udvostručila).
Teško je reći kako se ovi rezultati uspoređuju s drugim sintetiziranim pokusima govora, kaže Marc Slutzky, neurolog na sjeverozapadu koji nije bio uključen u novu studiju. Slutzky je nedavno radio na sličnoj studiji koja je proizvela sintetizirane riječi izravno iz signala moždane kore, bez dekodiranja pokreta glasnica, a vjeruje da je rezultirajuća kvaliteta govora slična - premda razlike u metrikama performansi otežavaju izravno uspoređivanje.
Međutim, jedan uzbudljiv aspekt UCSF studije je taj da dekoder može generirati neke rezultate kod sudionika, kaže Slutzky. Glavni izazov za ovu vrstu istraživanja je taj da treniranje algoritama za dekodiranje obično zahtijeva od sudionika da govore, ali tehnologija je namijenjena pacijentima koji više ne mogu razgovarati. Mogućnost generalizacije nekih treninga algoritma mogla bi omogućiti daljnji rad s paraliziranim pacijentima.
Da bi riješili taj izazov, istraživači su također testirali uređaj sa sudionikom koji je tiho oponašao rečenice, umjesto da ih izgovara naglas. Iako rezultirajuće rečenice nisu bile tako precizne, autori kažu kako je činjenica da je sinteza bila moguća i bez vokaliziranog govora ima uzbudljive implikacije.
"Bilo je zaista izvanredno otkriti da još uvijek možemo generirati audio signal iz čina koji uopće nije stvorio zvuk", rekao je Josh Chartier, ko-vodeći autor studija i diplomiranog studenta bioinžinjeringa na UCSF, ,
Slika autora studije, Gopala Anumanchipalli, držeći primjerak niza intrakranijalnih elektroda tipa koji se koristi za snimanje moždane aktivnosti u trenutnoj studiji. (UCSF) Drugi cilj budućih istraživanja jest slijediti demonstracije dekodera u stvarnom vremenu, kaže Anumanchipalli. Trenutna studija zamišljena je kao dokaz koncepta - dekoder je razvijen odvojeno od postupka prikupljanja podataka, a tim nije testirao brzinu prevođenja moždanih aktivnosti u sintetičnom govoru u stvarnom vremenu, iako bi to mogao biti cilj klinički uređaj.
Ta sinteza u stvarnom vremenu nešto je čemu treba poboljšati da bi takav uređaj mogao biti koristan u budućnosti, kaže Jaimie Henderson, Stanford neurokirurg koji nije bio uključen u studiju. Ipak, kaže da je dvostupanjska metoda autora uzbudljiv novi pristup, a upotreba tehnologije dubokog učenja može pružiti novi uvid u to kako govor stvarno djeluje.
"Za mene je ideja koja se počinje baviti istraživanjem osnova stvaranja govora kod ljudi vrlo uzbudljiva", kaže Henderson. „[Ova studija] započinje istraživanje jedne od naših najčešćih ljudskih sposobnosti na temeljnoj razini.“
