Penyelidik di University of California, Berkeley dan University of California, San Francisco, telah membuat kemajuan ketara dalam teknologi antara muka otak-komputer (BCI) dengan membangunkan sistem yang boleh membantu pesakit lumpuh teruk mendapatkan semula kebolehan pertuturan yang hampir semula jadi. Pendekatan baharu ini bertujuan untuk menangani cabaran utama dalam neuroprostesis pertuturan: kelewatan antara apabila pesakit cuba bercakap dan apabila pemikiran mereka diterjemahkan kepada bunyi.

Diterbitkan dalam jurnal Nature Neuroscience, teknologi terobosan ini menggunakan kecerdasan buatan (AI) untuk menyahkod isyarat otak ke dalam pertuturan dalam masa hampir nyata. Dengan menterjemahkan aktiviti otak kepada pertuturan yang boleh didengar hampir serta-merta, sistem menjadikan pertuturan lebih fasih dan semula jadi, membolehkan ekspresi berterusan tanpa jeda yang ketara. Kajian ini dibiayai oleh Institut Pekak dan Gangguan Komunikasi Lain Kebangsaan (NIDCD), sebahagian daripada Institut Kesihatan Kebangsaan (NIH).

"Sistem penstriman kami menggunakan algoritma yang serupa dengan peranti seperti Alexa atau Siri untuk menyahkod isyarat otak dan menjana pertuturan pada kelajuan yang hampir sama dengan kelajuan berfikir," jelas Gopala Anumanchipalli, penyiasat utama bersama dan penolong profesor di University of California, Berkeley. "Buat pertama kalinya, kami dapat mencapai sintesis pertuturan yang lancar dan berterusan terus daripada data saraf."

Teknologi baharu ini juga boleh digunakan pada pelbagai peranti. Ia menyokong kaedah bukan invasif untuk mengukur aktiviti otot muka menggunakan penderia kulit, serta sistem yang lebih kompleks untuk meletakkan elektrod pada atau di dalam otak. Menurut pengarang bersama kertas itu, Ph.D. pelajar Kaylo Littlejohn, algoritma boleh disesuaikan dengan pelbagai peranti pemantauan otak selagi ia boleh mendapatkan isyarat yang boleh dipercayai.

Neuroprostesis menukar aktiviti saraf korteks motor otak, yang mengawal pertuturan, kepada kata-kata. Proses ini berlaku selepas seseorang telah membentuk idea dan bersedia untuk menggerakkan otot vokal. Untuk melatih sistem, peserta secara senyap-senyap cuba bercakap semasa penyelidik merekodkan aktiviti otak mereka. Model AI mengisi butiran yang hilang, seperti corak suara, untuk mencipta output pertuturan.

Terutama, pasukan itu menggunakan suara pra-kecederaan peserta sebagai rujukan untuk memastikan output kedengaran biasa dan relevan. Kajian terdahulu telah menunjukkan bahawa terdapat kelewatan 8 saat dalam menyahkod ayat lengkap, tetapi kaedah baharu boleh mencapai kebolehdengaran pertuturan dalam masa kurang daripada satu saat. Masa tindak balas yang lebih pantas dipadankan dengan ketepatan yang tinggi, menunjukkan bahawa penstriman langsung boleh dilakukan tanpa mengorbankan kualiti.

Untuk menguji fleksibilitinya, para penyelidik mensintesis perkataan jarang berlaku yang tiada dalam data latihan sistem, seperti perkataan daripada abjad fonetik NATO ("Alpha", "Bravo", dll.). Teknologi ini menunjukkan prestasi yang baik dan menunjukkan potensinya untuk aplikasi perbendaharaan kata.

Edward Chang, seorang penyelidik kanan dan pakar bedah saraf di University of California, San Francisco, menyerlahkan aplikasi dunia sebenar. "Inovasi ini membawa kita lebih dekat kepada antara muka otak-komputer praktikal yang boleh meningkatkan komunikasi secara mendadak pada pesakit dengan gangguan pertuturan dan bahasa yang teruk," katanya.

Usaha masa depan bertujuan untuk meningkatkan nada emosi dan ekspresi pertuturan. Matlamatnya adalah untuk mencerminkan perubahan dalam nada, kelantangan dan emosi untuk menjadikan output lebih realistik. Dengan penambahbaikan selanjutnya, teknologi ini boleh meningkatkan cara orang dengan afasia berkomunikasi dengan ketara.