Ann Johnson’ın 20 yıl önceki düğün töreninde konuşma yeteneği açıkça ortaya çıktı. 15 kişinin coşkulu bir kadeh kutlama töreninde, koridordan aşağıya doğru koştuğunu şaka yaptı, tören programlarında “flütçü” mü yoksa “flütçü” mü demesi olmasını merak etti ve “mikrofonu elinde tuttuğunu” etti.
Sadece iki yıl sonra, her zaman 30 yaşında bir öğretmen, voleybol antrenörü ve bir bebek annesi olan Bayan Johnson, onu izleyen ve konuşamayan halde korkunç bir müsabakaya çıktı.
Çarşamba günü, bilim insanlarının onun ve diğer hastaların yeniden konuşmasına yardımcı olması konusunda dikkate alınmayan değer bir ilerleme bildirdiler. Sinirbilim ve yapay zeka alanındaki bir dönüm noktası olarak, implante edilen elektrotlar, Bayan Johnson kapsama alanı boyunca beyin gelişiminin çözülmesi. Teknoloji onun beyin sinyallerini yazılı ve sesli dile dönüştürdü ve bilgisayarda kayıtlıki bir avatarın bu sözlerin söylemesini ve gülmelerini, buzlanmış tırnakların ve diğer ifadelerin gösterilmesini sağladı.
Uzmanlar, Nature dergisinde yayınlanan programda, ilk kez konuşulan ve yüzlerinin doğrudan beyin sinyallerinin sentezlendiğini ortaya koyduğunu söylüyor. Bayan Johnson, kendisine benzeyen bir yüz olan avatarı seçti ve araştırmacıları, avatarın genişliği için düğün kadehini kullandı.
Ekibin lideri, San Francisco’daki California Üniversitesi cerrahi cerrahi başkanı Dr. Edward Chang, “Biz sadece insanların kim olduğunu geri getirmeye çalışıyoruz” dedi.
Şimdi 48 yaşında olan Bayan Johnson bana şöyle yazdı: “Yeniden bütün bir insanın çözüldüğünü hissetmemi sağladı.”
Amaç, programlama veya serebral palsi ve amyotrofik lateral skleroz gibi rahatsızlıklar nedeniyle konuşamayan insanlara yardım etmektir. Bayan Johnson’ın implantının işe yaraması için akıldan bir bilgisayara kabloyla takılması gerekiyor, ancak ekip ve diğer implantın kablosuz versiyonlarını geliştiriyor. Araştırmacılar, sonuçta ölen kişilerin, tonlamaların, vurgu ve neşe ve öfke gibi duyguları ileten bilgisayar resimlerini gerçek zamanlı olarak konuşabilmelerini umuyorlar.
Michigan Üniversitesi’nde beyin cerrahı ve biyomedikal mühendisi olan Dr. Parag Patil, “Oldukça heyecan verici olan şey, araştırmacıların iletişimin bu farklı özellikler hakkında oldukça iyi bilgi beyin beyinlerini çıkarabilmeleriydi” dedi. Nature tarafından alınması yayınlanmadan önce incelemesi istendi.
Video: Metzger ve diğerleri, Weill Sinir Bilimleri Enstitüsü/Kaliforniya Üniversitesi, San Francisco
Bayan Johnson’ın deneyimi, alanının hızlı ilerlemesini yansıtıyor. Sadece iki yıl önce aynı ekip, Pancho takma adını kullanan bir adam daha basit bir implant ve ödemeyi kullanarak içeride metin olarak kullanılan “merhaba” ve “aç” gibi 50 temel kelimeyi içeren bir araştırma yayınladı. bunlar çalıştırıldıktan sonra.
Bayan Johnson’ın implantında neredeyse iki kat daha fazla elektrot ve bu da onun ağız, dudaklar, çene, dil ve gırtlakla ilgili konuşmayla ilgili duyusal ve motor süreçlerden gelen beyin sinyallerini tespit etme yeteneği artırılıyor. Araştırmacılar, geliştirilen yapay zekayı tek kelimeler değil, fonemleri veya ortaya çıkan herhangi bir kelimeyi oluşturabilecek “ow” ve “ah” gibi ses birimlerini tanıyacak şekilde eğittiler.
Proje yöneticisi David Moses, “Bu, konuşma seslerinden oluşan bir alfabeye benziyor” dedi.
Pancho’nun sistemi dakikada 15 ila 18 kelime üretirken, Bayan Johnson’ın oranı çok daha geniş bir kelime listesi kullanarak 78’di. Tipik konuşma konuşması dakikada yaklaşık 160 kelimedir.
Araştırmacılar onunla çalışmaya başladığında avatarı veya sesi denemeyi beklemiyorlardı. Ancak umut verici sonuçlar, “‘Tamam, daha zor şeyleri deneyelim, hadi devam edelim’ demek için büyük bir yeşil ışıktı” dedi Dr. Moses.
Berkeley’deki California Üniversitesi’ndeki yüksek lisans öğrencisi ve yetenekli baş yazarlardan biri olan Kaylo Littlejohn, Dr. Moses, Sean Metzger, Alex Silva ile birlikte beyin parçaları ses dalga formlarına dönüşecek ve sesli konuşma üretecek bir programladıklarını söyledi. ve Margaret Seaton.
Bay Littlejohn, “Konuşmada tonlama, perde, ifade gibi yalnızca metinle iyi korunmayan pek çok bilgi var” dedi.
Yüz animasyonu üreten bir şirketle çalışan araştırmacılar, avatar kas hareketlerini doğrulayacak şekilde programladılar. Bayan Johnson daha sonra yüksek, orta ve düşük yoğunlukta mutlu, üzgün ve şaşkın yüz ifadeleri yapmaya çalıştı. Ayrıca çeşitli çene, dil ve dudak hareketleri yapmaya çalıştı. Şifresi çözülen beyinsel gelişme avatarının yüzeyi aktarıldı.
Avatar aracılığıyla “Bence harikasın” ve “Yapay sesim hakkında ne düşünüyorsunuz?” dedi.
Bayan Johnson araştırmacılara “Kendi sesinize benzer bir ses duymak duygusaldır” dedi.
O ve posta işçisi olan kocası William sohbet ediyorlardı. Avatar aracılığıyla şunları söyledi: “Beni güldürme.” Toronto Blue Jays’in şansı hakkında ne düşündüğünü sordu. “Her şey mümkün” diye yanıt verdi.
Bu alan o kadar hızlı ilerleyen ki, federal düzeyde kablosuz versiyonların gelecekte mevcut olabileceğine inanılıyor. Bazı modeller için farklı şifrelemeler optimal olabilir.
Stanford’da nöroşirürji sonuçları ve ekibin lideri olan Dr. Jaimie Henderson, çocukluk döneminde kendi anılarını izleme deneyimiyle motive olan Dr. dedi. Babam bir kazadan sonra konuşmasını kaybetti. Yöntemlerinin daha kesin olabileceğini ancak belirli patlamaların ateşleme düzenlerinin değişebilmesi nedeniyle daha az kararlı olabileceğini söyledi.
Sistem, ALS hastası olan 68 yaşındaki Pat Bennett’in geniş bir kelime dağarcılarından elde ettiği cümleleri dakikada 62 kelimeyle ortaya çıkıyor. Bu çalışma bir avatar veya ses kodunu içermiyordu.
Her iki sonuç da cümlelerdeki sözcükleri tahmin etmeye yardımcı olmak için tahmine dayalı dil modelleri kaydedildi. Oregon Sağlık ve Bilim Üniversitesi’nde konuşma-dil yardımcı teknolojisi uzmanı Melanie Fried-Oken, sistemlerin sadece sözcüklerin eşleştirilmesiyle dağıtıldığını, sinirsel aktivitelerini daha iyi tanımalarını sağlayarak “yeni dil kalıpları da ortaya çıktığını” söyledi. Stanford araştırmalarına danışıldı.
Video: Metzger ve diğerleri, Weill Sinir Bilimleri Enstitüsü/Kaliforniya Üniversitesi, San Francisco
Onun iki yaklaşımı da tam anlamıyla doğru değildi. Geniş kelime dağarcığı setlerini kullanırken, yaklaşık dörtte bir oranında tek tek kelimelerin kodlarında hatalı bozulmalar.
Örneğin Bayan Johnson, “Belki de onları kaybettik” demeye çalıştığı sistemde, “Belki de o ismi verdik” karşılığını verdi. Ancak cümlelerinin neredeyse yarısında her kelimeyi doğru şekilde deşifre etti.
Araştırmacılar, kitle kaynak platformundaki kişilerin çoğu zaman avatarın yüz değerini doğru yorumlayabildiğini buldu. Sesin dökümü yorumlamak için daha zorlanan ekip bunu belirlemek için bir tahmin geliştirmesi geliştiriyor. Dr. Chang, “Konuşan avatarımızın henüz başlangıç noktasında” dedi.
Uzmanlar bu sistemlerin insanların aklını veya veriyi okumadığını vurguluyor. Dr. Patil, bunların daha yakın, atışlarını tahmin etmek için “atıcının aklını okuduğunu, ancak atıcının yaptıklarını yorumlayan” beyzbol vuruşlarına benzediklerini söyledi.
Fried-Oken, yine de zihin okumanın eninde sonunda mümkün olabileceğini, bunun da etik ve mahremiyet uyarılarının ortaya çıkabileceğini söyledi.
Bayan Johnson, 2021 yılında, kocasının bilim adamlarının yardımlarının yapıldığı adam Pancho’nun belgemi ona ertesi gün Dr. Chang ile temasa geçti. Chang, kendisinin San Francisco’daki laboratuvarından yardım aldığını, Kanada’nın Saskatchewan’ın yaşayabilmek için başlangıçta cesaretini kırdığını ancak “ısrarcı olduğunu” söyledi.
48 yaşındaki Bay Johnson, yarı zamanlı çalışma ayarladı. Yerel posta birliğinin kurulumu de dahil olmak üzere, “Ann her zaman aradığıi yapma konusunda beni destekledi” dedi. “Bu nedenle bu konuyu destekleyebilmenin önemli olduğunu düşünüyordum.”
Geçtiğimiz Eylül ayında katılmaya başladı. Kaliforniya’ya yolculuklar, onu tekerlekli sandalye ile yatak arasında transfer edecek bir asansör de dahil olmak üzere yerle dolu bir minibüs üç gün sürüyor. Orada araştırmacıların kusurlarını gidermek için deneyler yürüttükleri bir daire kiralıyorlar. Çok yıllı araştırma için seyahat ve kira masraflarını internetten ve kendi topluluklarından Johnson’lar için karşılamak üzere, araştırma aşamaları evlerine dönerek California’da haftalarca kalıyor.
Bay Johnson, “Bunu haftanın yedi günü, günde 10 saat yapabilseydi” dedi.
Kararlılık her zaman onun özelliklerinin bir parçası olmuştur. Çıkmaya başladığında Bayan Johnson, Bay Johnson’a evlenme teklif edilmesi için 18 ay süre verdi; Bay Johnson, bunu “18’inci ayın tam yükselişinde”, “zaten gidip nişan yüzüğünü başlattıktan sonra” yaptığını söyledi.
Bayan Johnson benimle evde kullanarak daha ilkel yardımcı sistemle sağlanan e-postalar aracılığıyla iletişim kurdu. Bilgisayardaki harflere ve kelimelere nişan odaklı bir noktanın yapıştırıldığı gözlük takılıyor.
Yavaşlama anında yalnızca 14 kelime üretilebiliyor. Ancak bu, evde iletişim kurabilmesinin diğer tek ilerlemenin daha hızlı: plastik bir yazı tahtası kullanarak, Bay Johnson’ın tanımladığı bir yöntem: “O sadece hangi mektuba çalıştırılıyor bana çalışıyor ve sonra ben de öğrenmeye çalışıyorum.” ne çalışıyor?”
Serbest akışlı konuşmalar yapamamak onları sinirlendiriyor. Ayrıntılı konular tartışılırken Bay Johnson bazen bir şeyler söylüyor ve ertesi gün yanıtını e-postayla alıyor.
“Ann hayatta her zaman çok konuşurken, göründüğünde, dışında yedi sosyal bir kişi olmuş ve ben ediyordum” dedi, ancak hayatta kaldığında “rolleri değişti ve şu anda katılıyor olmam gerekiyor.”
Bayan Johnson, voleybol oynamak için ısınırken beyin sapının değiştirilebildiğinde lisede matematik, sağlık ve beden eğitimi öğretmeniliği yapıyor ve voleybol ve basketbol koçluğu yapıyor. Bay Johnson, birlikte ve uyumlu bir yıl birleştirdikten sonra eve, 10 yaşında üvey oğlunun ve 23 aylık kızının yanına döndüğünü ve artık annesini konuştuğunu hiç hatırlamadan büyüdüğünü söyledi.
Bayan Johnson, “Çocuklarıma sarılamamak ve öpememek çok canımı acıttı ama bu benim gerçeğimdi” diye yazdı. “Tabuttaki asıl çivi bana daha fazla çocuk sahibi olabileceğimin söylenmesiydi.”
Felçten sonraki beş yıl boyunca çok korkmuştu. “Onun öleceğimi sanıyordum” diye yazdı ve şunu ekledi: “Beynimin bir kısmının yardıma ihtiyacı olmadığını biliyordu ama iletişim nasıl kuracaktım?”
yavaş yavaş yavaşlamanın yeniden ortaya çıkması ortaya çıktı. genel olarak “yüz kaslarım hiç çalışmıyordu” diye yazdı, ancak yaklaşık beş yıl sonra istendiğinde zaman gülümseyebildi.
Yaklaşık yıl boyunca tamamen tüple beslenmedi ancak katı yiyeceğin tadına bakılması istendiye karar verdi. Kendi kendisi, “Eğer ölürsem öyle olsun” dedi. “Çikolata emmeye başladım.” Yutma terapisi gördü ve şimdi ince kıyılmış veya yumuşak yiyecekler yiyor. “Kızım ve ben kekleri severiz” diye yazdı.
Bayan Johnson, 2018’de Saskatchewan’da meydana gelen kaza otobüs kazasının ardından travma danışmanlarına ihtiyaç duyulduğunda öğrenildi, çevrimiçi bir üniversite danışmanlık kursu almaya karar verdi.
Bir sınıf karnesinde, “Bilgisayar okuyabildiğim düzeydeydi ve bir matematik ve fen bilimleri insanı olarak verilen yazma düşüncesi beni korkuttu” diye yazdı. “Aynı zamanda 9. sınıftaydı ve işleme engeli tanısı konuldu. Korkularımı aşmaya ve ona engellerin bizi durdurması ya da yavaşlaması gerekmemesine karar verdim.”
Travmadan kurtulanlara yardım etmek onun hedefi olmaya devam ediyor. Dr. Chang’ın ekibine verdiği demeçte, “Ay’daki şansım, bir danışman olmak ve bu müşterilerle görüşmek için kullanmaktı.”
İlk başta avatarla duygusal duygular çalışmaya başladı, “Kendim hatalı gibi hissettim ama yine ifadeli bir yüze sahip olan ayrılık hissi hoşuma gitti” diye ve egzersizlerin aynı zamanda alnının sol çıkardığı hareket ettiğine de olanaklarını ekledi. İlk kez.
Bir şey daha kazandı. Felçten sonra “Her şeyi kaybettiğimde canım çok yandı” diye yazdı. “Kendime bir daha asla ayrıcalık vermeyeceğim bu hayalin sürekliliğine getirmeyeceğimi söyledim.”
Şimdi, “Yeniden bir iletişim varmış gibi tükendi” diye yazdı.
fazla teknoloji ona “Yıldız Savaşları”nda olmayı hayal ettiriyor: “Aklımın uçmasına bir nevi alıştım.”
