Tokyo Bilim Üniversitesi'nden (TUS) araştırmacılar, büyük ölçekli yapay zeka modellerinin belirli veri sınıflarını seçici olarak “unutmasını” sağlayacak bir yöntem geliştirdi.

YZ'deki ilerleme, sağlık hizmetlerinden otonom sürüşe kadar çeşitli alanlarda devrim yaratabilecek araçlar sağlamıştır. Bununla birlikte, teknoloji ilerledikçe, karmaşıklıkları ve etik hususları da artmaktadır. 

OpenAI'nin ChatGPT ve CLIP (Contrastive Language-Image Pre-training) gibi büyük ölçekli önceden eğitilmiş YZ sistemleri paradigması, makinelere yönelik beklentileri yeniden şekillendirmiştir. Çok çeşitli görevleri tutarlı bir hassasiyetle yerine getirebilen bu son derece genelci modeller, hem profesyonel hem de kişisel kullanım için yaygın olarak benimsenmiştir.  

Ancak bu çok yönlülüğün ağır bir bedeli var. Bu modellerin eğitilmesi ve çalıştırılması muazzam miktarda enerji ve zaman gerektirmekte, sürdürülebilirlik endişelerini artırmakta ve standart bilgisayarlardan çok daha pahalı son teknoloji donanımlar gerektirmektedir. Bu sorunları daha da karmaşık hale getiren şey, genelci eğilimlerin belirli görevlere uygulandığında YZ modellerinin verimliliğini engelleyebilmesidir.  

Örneğin, araştırmayı yöneten Doçent Go Irie, “pratik uygulamalarda, her türlü nesne sınıfının sınıflandırılması nadiren gereklidir” diye açıklıyor. “Örneğin, otonom bir sürüş sisteminde, arabalar, yayalar ve trafik işaretleri gibi sınırlı nesne sınıflarını tanımak yeterli olacaktır.

“Yiyecekleri, mobilyaları ya da hayvan türlerini tanımamıza gerek yok. Tanınması gerekmeyen sınıfların tutulması, genel sınıflandırma doğruluğunu azaltabileceği gibi, hesaplama kaynaklarının israfı ve bilgi sızıntısı riski gibi operasyonel dezavantajlara da neden olabilir.”  

Potansiyel bir çözüm, modellerin gereksiz veya lüzumsuz bilgileri “unutacak” şekilde eğitilmesinde yatıyor; böylece süreçlerini yalnızca gerekli olana odaklanacak şekilde düzenliyorlar. Mevcut bazı yöntemler halihazırda bu ihtiyacı karşılıyor olsa da, kullanıcıların bir modelin iç mimarisine ve parametrelerine erişebildiği bir “beyaz kutu” yaklaşımı benimseme eğilimindedirler. Ancak çoğu zaman kullanıcılar böyle bir görünürlüğe sahip değildir.  

Ticari ve etik kısıtlamalar nedeniyle daha yaygın olan “kara kutu” yapay zeka sistemleri, iç mekanizmalarını gizleyerek geleneksel unutma tekniklerini kullanışsız hale getirmektedir. Bu boşluğu gidermek için araştırma ekibi, bir modelin erişilemeyen iç işleyişine güvenmekten kaçınan bir yaklaşım olan türevsiz optimizasyona yöneldi.  

Unutarak ilerlemek

2024'te Neural Information Processing Systems (NeurIPS) konferansında sunulacak olan çalışma, “kara kutu unutması” olarak adlandırılan bir metodoloji sunuyor.

Süreç, yapay zekanın belirli sınıfları aşamalı olarak “unutmasını” sağlamak için girdi istemlerini (modellere verilen metin talimatları) yinelemeli turlarda değiştiriyor. Doçent Irie bu çalışmada, NEC Corporation'dan Dr. Takashi Shibata'nın yanı sıra ortak yazarlar Yusuke Kuwana ve Yuta Goto (her ikisi de TUS'tan) ile işbirliği yaptı.  

Araştırmacılar deneyleri için görüntü sınıflandırma yeteneklerine sahip bir görme-dili modeli olan CLIP'i hedef aldılar. Geliştirdikleri yöntem, çözümleri adım adım optimize etmek için tasarlanmış evrimsel bir algoritma olan Kovaryans Matrisi Adaptasyon Evrim Stratejisi (CMA-ES) üzerine inşa edilmiştir. Bu çalışmada CMA-ES, CLIP'e sağlanan ipuçlarını değerlendirmek ve bilemek için kullanıldı ve sonuçta belirli görüntü kategorilerini sınıflandırma yeteneğini bastırdı.

Proje ilerledikçe zorluklar ortaya çıktı. Mevcut optimizasyon teknikleri, hedeflenen kategorilerin daha büyük hacimleri için ölçeklendirme yapmakta zorlandı ve ekibi “gizli bağlam paylaşımı” olarak bilinen yeni bir parametrelendirme stratejisi geliştirmeye yöneltti.  

Bu yaklaşım, gizli bağlamı - istemler tarafından oluşturulan bilgilerin bir temsili - daha küçük, daha yönetilebilir parçalara ayırır. Belirli unsurları tek bir belirtece (kelime veya karakter) tahsis ederken diğerlerini birden fazla belirteçte yeniden kullanarak, sorunun karmaşıklığını önemli ölçüde azalttılar. En önemlisi de bu, süreci kapsamlı unutma uygulamaları için bile hesaplama açısından izlenebilir hale getirdi.  

Araştırmacılar, birden fazla görüntü sınıflandırma veri kümesi üzerinde yaptıkları kıyaslama testleriyle, kara kutu unutmanın etkinliğini doğrulayarak, yapay zeka modelinin iç mimarisine doğrudan erişim olmadan CLIP'in hedef sınıfların yaklaşık %40'ını “unutmasını” sağlama hedefine ulaştılar.

Bu araştırma, bir kara kutu görme-dil modelinde seçici unutmayı tetiklemeye yönelik ilk başarılı girişimi işaret ediyor ve umut verici sonuçlar ortaya koyuyor.  

Yapay zeka modellerinin verileri unutmasına yardımcı olmanın faydaları

Bu yenilik, teknik ustalığının ötesinde, göreve özgü hassasiyetin çok önemli olduğu gerçek dünya uygulamaları için önemli bir potansiyele sahiptir.

Özel görevler için modelleri basitleştirmek, onları daha hızlı, daha kaynak verimli ve daha az güçlü cihazlarda çalışabilir hale getirebilir ve daha önce mümkün olmadığı düşünülen alanlarda yapay zekanın benimsenmesini hızlandırabilir.  

Bir diğer önemli kullanım alanı da, görsel bağlam kategorilerinin tamamının unutulmasının, modellerin yanlışlıkla istenmeyen veya zararlı içerikler (saldırgan materyaller veya yanlış bilgiler) oluşturmasını önleyebileceği görüntü oluşturmada yatmaktadır.  

Belki de en önemlisi, bu yöntem YZ'nin en büyük etik ikilemlerinden biri olan mahremiyet sorununu ele almaktadır.

YZ modelleri, özellikle de büyük ölçekli olanlar, genellikle yanlışlıkla hassas veya güncel olmayan bilgiler içerebilecek devasa veri kümeleri üzerinde eğitilir. Bu tür verilerin kaldırılmasına yönelik talepler -özellikle de “Unutulma Hakkı ”nı savunan yasalar ışığında- önemli zorluklara yol açmaktadır.

Sorunlu verileri hariç tutmak için tüm modelleri yeniden eğitmek maliyetli ve zaman alıcıdır, ancak ele alınmadan bırakılmasının riskleri geniş kapsamlı sonuçlara yol açabilir.

Doçent Irie, “Büyük ölçekli bir modeli yeniden eğitmek muazzam miktarda enerji tüketir” diyor. “'Seçici unutma' ya da makine öğrenmesinin kaldırılması olarak adlandırılan yöntem, bu soruna etkili bir çözüm sağlayabilir.”  

Gizlilik odaklı bu uygulamalar, özellikle hassas verilerin operasyonların merkezinde yer aldığı sağlık ve finans gibi yüksek riskli sektörler için önemlidir.  

Yapay zekayı ilerletmek için küresel yarış hızlanırken, Tokyo Bilim Üniversitesi'nin kara kutu unutma yaklaşımı, yalnızca teknolojiyi daha uyarlanabilir ve verimli hale getirerek değil, aynı zamanda kullanıcılar için önemli güvenceler ekleyerek ileriye dönük önemli bir yol çiziyor.  

Kötüye kullanım potansiyeli devam etse de, seçici unutma gibi yöntemler araştırmacıların hem etik hem de pratik zorlukları proaktif bir şekilde ele aldıklarını göstermektedir.