Makine öğrenimi alanı geleneksel olarak iki ana kategoriye ayrılır: “denetimli” ve ‘denetimsiz’ öğrenme. Denetimli öğrenmede algoritmalar, her bir girdinin karşılık gelen çıktıyla eşleştirildiği ve algoritmaya net bir rehberlik sağlayan etiketli veriler üzerinde eğitilir. Buna karşılık, denetimsiz öğrenme yalnızca giriş verilerine dayanır ve algoritmanın herhangi bir etiketli çıktı olmadan kalıpları veya yapıları ortaya çıkarmasını gerektirir.

Son yıllarda, bu geleneksel kategoriler arasındaki çizgileri bulanıklaştıran “kendi kendine denetimli öğrenme” (self-supervised learning-SSL) olarak bilinen yeni bir paradigma ortaya çıkmıştır. Denetimli öğrenme, verileri etiketlemek ve “denetleyici” olarak hizmet etmek için büyük ölçüde insan uzmanlara bağlıdır. Ancak SSL, ham verilerden otomatik olarak etiket oluşturmak için algoritmalar kullanarak bu bağımlılığı atlar.

SSL algoritmaları, doğal dil işlemeden (NLP) bilgisayarla görmeye, biyoinformatikten konuşma tanımaya kadar geniş bir uygulama yelpazesinde kullanılmaktadır. Geleneksel SSL yaklaşımları, anlamsal olarak benzer (pozitif) çiftlerin temsillerinin yakın olmasını ve benzer olmayan (negatif) çiftlerin temsillerinin daha uzak olmasını teşvik eder.

Pozitif çiftler tipik olarak renk, doku, yönlendirme ve kırpma gibi standart veri artırma teknikleri kullanılarak oluşturulur. Pozitif çiftler için temsillerin hizalanması, bu büyütmelere karşı duyarsızlığı destekleyen değişmezlik veya bunlara karşı duyarlılığı koruyan eşdeğerlik tarafından yönlendirilebilir.

Ancak buradaki zorluk, önceden tanımlanmış bir dizi büyütmeye değişmezlik veya eşdeğerlik uygulamanın, öğrenilen temsillerin karşılaması gereken özellikler hakkında bir dizi alt görevde evrensel olmaktan uzak güçlü “tümevarımsal önceller” -içkin varsayımlar- getirmesidir.

MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) ve Münih Teknik Üniversitesi'nden bir ekip, arXiv ön baskı sunucusunda yayınlanan bir makalede, önceden tanımlanmış veri artırımlarına güvenmenin bu sınırlamalarını ele alan ve bunun yerine bir görev veya ortamın soyut bir kavramını temsil eden bağlama dikkat ederek farklı dönüşümlere uyum sağlayabilen genel bir temsilden öğrenen kendi kendine denetimli öğrenmeye yeni bir yaklaşım önerdiler.

Bu sayede daha esnek ve çeşitli alt görevlere, farklı simetrilere ve hassas özelliklere uyarlanabilen veri temsilleri öğrenilebiliyor ve her görev için tekrarlanan yeniden eğitim ihtiyacı ortadan kalkıyor.

Yöntemlerini “Bağlamsal Kendi Kendine Denetimli Öğrenme” (ContextSSL) olarak adlandıran araştırmacılar, çeşitli kıyaslama veri kümeleri üzerinde kapsamlı deneyler yaparak yöntemin etkinliğini ortaya koyuyor. Temel fikir, bir ajanın çevresinin dinamiklerini ve yapısını yakalayan temsiller olan dünya modellerinden esinlenen bağlamı tanıtmaktır.

Bu dünya modellerini bir araya getiren yaklaşım, modelin temsillerini eldeki göreve göre değişmez veya eşdeğer olacak şekilde dinamik olarak uyarlamasını sağlıyor. Bu, her bir alt görev için ayrı temsillerin eğitilmesi ihtiyacını ortadan kaldırır ve SSL'ye daha genel ve esnek bir yaklaşım sağlar.

ContextSSL, bağlamı, dönüşümlerle ilgili önceki deneyimleri temsil eden bir durum-eylem-sonraki durum üçlüleri dizisi olarak kodlamak için bir dönüştürücü modülü kullanır. Model, bağlama dikkat ederek, bağlamda temsil edilen dönüşüm grubuna bağlı olarak değişmezliği veya eşdeğerliği seçici olarak uygulamayı öğrenir.

MIT profesörleri Tommi Jaakkola ve Stefanie Jegelka'nın da aralarında bulunduğu araştırmacıların yeni makalesinin başyazarı olan CSAIL doktora öğrencisi Sharut Gupta, “Özellikle amacımız, artan bağlamla birlikte temel dönüşüm grubuna daha eşdeğer hale gelen temsilleri eğitmek,” diyor. “Modellere her seferinde ince ayar yapmak değil, insanların yaptığına benzer şekilde farklı ortamlara katılabilecek esnek ve genel amaçlı bir model oluşturmak istiyoruz.”

ContextSSL, hem değişmezlik hem de eşdeğerlik gerektiren görevler için 3DIEBench ve CIFAR-10 dahil olmak üzere çeşitli bilgisayarla görme ölçütlerinde önemli performans kazanımları gösteriyor. Bağlama bağlı olarak, ContextSSL tarafından öğrenilen temsil, belirli bir aşağı akış görevi için yararlı olan doğru özelliklere uyum sağlar.

Örnek olarak ekip, ContextSSL'in ilaçlar, hasta demografisi, hastanede kalış süresi (LOS) ve hayatta kalma verileri gibi önemli tanımlayıcıları içeren geniş bir tıbbi kayıt koleksiyonu olan MIMIC-III'te belirli bir cinsiyet özelliği için temsilleri öğrenme becerisini test etti.

Ekip, hem eşdeğerlik hem de değişmezlikten yararlanan gerçek dünya görevlerini yakaladığı için bu veri kümesini araştırdı: Eşdeğerlik, ilaç dozajlarının cinsiyete ve hastaların fizyolojik özelliklerine bağlı olduğu tıbbi teşhis gibi görevler için çok önemlidir; değişmezlik ise hastanede kalış süresi veya tıbbi maliyetler gibi sonuçların tahmin edilmesinde adaleti sağlamak için gereklidir.

Araştırmacılar sonuç olarak, ContextSSL cinsiyet duyarlılığını teşvik eden bağlama katıldığında, hem cinsiyet tahmini doğruluğunun hem de tıbbi tedavi tahmininin bağlamla birlikte geliştiğini bulmuşlardır. Aksine, bağlam değişmezliği desteklediğinde, hastanede kalış süresi (LOS) tahmininde ve eşitlenmiş oranlar (EO) ve fırsat eşitliği (EOPP) ile ölçülen çeşitli adalet ölçütlerinde performans artmaktadır.

Makalede yer almayan Google DeepMind Kıdemli Personel Araştırma Bilimcisi Dilip Krishnan, “Kendi kendine denetimli öğrenmenin temel amaçlarından biri, sonraki birçok göreve uyarlanabilen esnek temsiller oluşturmaktır” diyor. “Önsel olarak değişmezlik veya eşdeğerlik sağlamak yerine, bu özelliklere göreve özgü bir şekilde karar vermek çok daha yararlıdır.

“Bu ilginç makale bu yönde önemli bir adım atıyor. Dönüştürücü modellerin bağlam içi öğrenme yeteneklerinden akıllıca yararlanarak, yaklaşımları basit ve etkili bir şekilde farklı dönüşümlere değişmezlik veya eşdeğerlik uygulamak için kullanılabilir.”