Bilgisayar bağlantılı implantlar beynindeki elektrik sinyallerinin kelimelere dönüşmesine yardımcı oluyor.

Birkaç yıl önce Casey Harrell'a yıkıcı bir beyin hastalığı teşhisi kondu. Amiyotrofik lateral skleroz ya da ALS olarak bilinen bu hastalık onu felçli ve konuşamaz hale getirdi. Ancak geçen yıl bir doktor Harrell'in beyninin konuşma merkezine küçük elektrotlar yerleştirdi. Bu elektrotlar, bir bilgisayarın kelimelere dönüştürebileceği beyin dalgalarını topluyor. Bugün, 46 yaşındaki adam bir kez daha sohbet edebiliyor.

Bilim insanları, Harrell'in hastalığından önceki ses kayıtlarını kullanarak bir yapay zeka modelini eğitmeyi başardılar. Onun yardımıyla Harrell artık elektronik bir ses sentezleyici aracılığıyla “konuşuyor”. Ve bu yapay zeka sayesinde, sesi bir zamanlar sahip olduğu doğal sese benziyor.

Harrell yeni teknolojiyi kullanarak, “Benim hastalığıma sahip insanların muzdarip olduğu şeylerden biri de izolasyon ve depresyondur,” diyor. Bu kişiler artık kendilerini önemli hissetmiyorlar, diyor. Ancak bu teknoloji sayesinde, o ve onun gibi diğerleri topluma yeniden aktif olarak katılabilir.

David Brandman, bu yeni teknolojinin “şimdiye kadar tanımlanan en doğru konuşma çözümlemesini” sunduğunu söylüyor. Kendisi, cihazları Harrell'in beynine yerleştiren Kaliforniya Üniversitesi, Davis Health'ten beyin cerrahı. Ekibi, teknolojinin nasıl çalıştığına dair ayrıntıları 14 Ağustos tarihli New England Journal of Medicine'da paylaştı.

Brandman, bu teknolojinin bir zihin okuyucu olmadığını vurguluyor. Birinin gizli düşüncelerini dinleyemez. Sadece kullanıcı istediğinde, yani konuşmaya çalıştığında çalışıyor.

Brandman, “Şu anda ABD'de konuşmak isteyen ama konuşamayan binlerce insan var” diyor. “Kendi bedenlerinde kapana kısılmış durumdalar.”

Bir gün bu teknoloji birçoğunun sesini geri kazanmasına yardımcı olabilir.

Her şeyin arkasındaki teknoloji

Beyinden gelen elektrik sinyalleri nöronlar boyunca ilerleyerek vücuttaki her hareketi kontrol eder. Elinizi her salladığınızda, koştuğunuzda veya gülümsediğinizde beynin farklı bölümleri açılır. Bu elektrik sinyalleri, kullanmak istediğiniz kasları harekete geçirmek için yollarda ilerler.

Ancak yaralanma veya hastalık bu sinir yollarının bazı kısımlarına zarar verebilir. Bu da elektrik sinyallerinin hareket etmek ya da konuşmak için gereken kaslara ulaşmasını engelleyebilir.

Sergey Stavisky, UC Davis'te bir sinirbilimci. Brandman ile birlikte, insanların beyin hasarı ve hastalık nedeniyle kaybettikleri yetenekleri geri kazandırmak için bir nöroprotez laboratuvarı işletiyor. Ekipleri 2021'den beri beyin-bilgisayar arayüzleri ya da BCI olarak bilinen teknoloji aracılığıyla konuşmayı geri kazandırmak için çalışıyor.

BCI'lar beyin sinyallerine ulaşmak için implantlar kullanıyor. Bir bilgisayar beyin sinyallerinin ne anlama geldiğini yorumlamayı öğrenir. Daha sonra bu sinyalleri makine hareketine çevirebilir. Bir insan düşüncelerini kullanarak robotik bir kolu bu şekilde kontrol edebilir.

Çalışmaları BrainGate olarak bilinen uzun soluklu bir çalışmanın parçası. Felç geçiren insanlarda implantların ne kadar güvenli olduğu test ediliyor. Ayrıca, insanların çevrelerini daha iyi kontrol etmelerine yardımcı olabilmeleri için bu tür cihazları geliştirmeye çalışıyor.

Harrell katılmaya karar verdi.

Beyin sinyallerinin kelimelere çevrilmesi

Temmuz 2023'te Brandman, Harrell'in beyninin konuşmayı kontrol eden bölümüne ameliyatla dört küçük cihaz yerleştirdi. Her cihazda, beynindeki nöronlar tarafından iletilen elektrik sinyallerini tespit etmesine yardımcı olan 64 metal çatal bulunuyor.

Kağıt üzerinde bu sinyallerin kaydı bir dizi dalgaya benziyor. 

Harrell ameliyattan çıktıktan sonra araştırmacılar onu evinde ziyaret etti. Kafasına bir kayıt cihazı taktılar ve BCI'larını açtılar. Sistemin Harrell'in konuşmaya çalışırken beyin sinyallerini nasıl çözeceğini öğrenmesi birkaç dakika sürdü. Ardından, bu beyin sinyallerini kelimelere dönüştürmeye başladı.

Konuşurken beynimiz her kelimeyi küçük ses parçalarına ayırır. Her bir ses lokması bir fonem (FO-neem) olarak bilinir. Örneğin, geyik kelimesi üç farklı ses parçasından oluşur: “m”, “oo” ve “ss”.

Her bir fonem beyinde benzersiz bir elektrik sinyali üretir. Parmak izi gibi. Matematik, teknolojiye bu sinyalleri birinin söylemeye çalıştığı gerçek kelimelere nasıl dönüştüreceğini söyleyebilir. Daha sonra kelimeler bir bilgisayar ekranında cümleler olarak görünür ve bilgisayarın hoparlörü tarafından yüksek sesle “söylenir”.

Sistemi kullanmasının ikinci gününde Harrell, hatırlayabildiği kadarıyla ilk kez küçük kızıyla konuşabildi.

Yeni sistemi kullanana kadar Harrell, söylemek istediklerini iletmek için eğitimli bir tercümanın yardımına ihtiyaç duyuyordu. Ama bu çok zordu. Brandman, dakikada sadece altı kelimeyi doğru bir şekilde aktarabildiğini söylüyor. Bağlam için: Ortalama bir insan dakikada yaklaşık 120 ila 150 kelime konuşur.

Harrell artık düşüncelerini, ihtiyaçlarını ve isteklerini paylaşmak için teknolojiyi kullanarak konuşmalar yapabiliyor. Ayrıca mizah anlayışını da gösterebiliyor. Bugün ailesiyle, arkadaşlarıyla ve iş arkadaşlarıyla konuşmak için günde 12 saate kadar bu teknolojiyi kullanıyor. Harrell hala bir iklim aktivisti olarak çalışıyor.

Beyinden konuşmaya çalışan ilk sistem değil

Brandman ve Stavisky'nin grubu bu tür bir teknolojinin umut vaat ettiğini gösteren ilk grup değil. Ancak onlarınkinin, olay yerinde teknisyenlere ihtiyaç duymadan, bir kişinin gün boyu, her gün iletişim kurmak için evde kullanabileceği ilk teknoloji olduğunu söylüyorlar.   

Daha önce başka bilim insanları da benzer cihazları birinin beynine yerleştirmişlerdi. Ancak bu cihazların beyin sinyallerini almak için yarısı kadar çatalları vardı. Testlerde, bu tür implantlar ortalama olarak her dört kelimeden üçünde doğru sonuç verdi. Brandman, kelimelerin dörtte birini yanlış söylemenin iletişim kurmayı zorlaştırdığını söylüyor. Yine de bu fikrin işe yarayabileceğini gösterdi.   

Brandman ve Stavisky artık iki kat daha fazla çatallı implantlar kullanıyor. Daha fazla çatal, cihazlarının sinir sinyallerini daha iyi “duyabileceği” anlamına geliyor. Araştırmacılar ayrıca BCI tarafından kullanılan matematiği de geliştirdiler. Bu değişiklikler birlikte konuşma çözümlemesinin doğruluğunu artırdı.

32 hafta boyunca, bu teknoloji Harrell'in söylemek istediklerini zamanın yaklaşık yüzde 97'sinde doğru yorumladı. Brandman, bunun her 50 kelimeden 49'unu doğru anladığı anlamına geldiğini söylüyor. Ve doğruluğu hala gelişiyor.

Diğer araştırma grupları da insanların beyin sinyallerini konuşmaya dönüştürmek için bilgisayarlı cihazlar üzerinde çalışıyor. 

Chris Crawford Tuscaloosa'daki Alabama Üniversitesi'nde bilgisayar bilimcisi. İnsan-Teknoloji Etkileşimi Laboratuvarı'nı yönetiyor. Burada giyilebilir BCI'ları çalıştırmak için bilgisayar programları yaratıyor. Hastalık ve yaralanma nedeniyle felç olan insanlar “her gün bu engellerle yaşıyor” diyor. Bu yüzden bu sistemler çok önemli, diyor. İnsanların bir zamanlar sonsuza dek kaybettiklerini düşündükleri işlevleri yeniden kazanmalarına potansiyel olarak yardımcı olabilirler. 

Crawford gibi Roya Salehzadeh de BrainGate teknolojisi üzerinde çalışmadı. Ancak bu tür araştırmaların kendisi gibi mühendislere yardımcı olabileceğini söylüyor. Southfield, Mich.'deki Lawrence Teknoloji Üniversitesi'nde BCI'lar ve insan-robot etkileşimleri üzerine çalışıyor. BCI'ların, sadece beyninden gelen bilgileri kullanarak birinin tekerlekli sandalyesini sürmesine yardımcı olabileceğini söylüyor. Ya da BCI'ların iletişim kuramayan insanların duygularını ya da streslerini tespit edebileceğini belirtiyor.

Bu sistemlerin yaygın olarak kullanılmaya başlanması ne kadar sürer? Brandman, doktorların önümüzdeki beş ila 10 yıl içinde Harrell'in kullandığı gibi bir BCI reçete edebileceğini düşünüyor.