Modern LLM'ler insan benzeri metinlerde romanlar üretebilir ancak uzun bilgi parçalarını hatırlayamaz ve işleyemez. LLM'ler, kelimeler ve aralarındaki ilişkilerden oluşan sabit bir hafıza boyutu dahilinde bir cümlede bir sonraki cümlenin ne olacağını tahmin etmede mükemmeldir. Bu bağlam penceresine yeni bilgiler eklendiğinde, daha önceki ayrıntıların izini kaybeder.

GPT-4o ve LLamaA3 gibi modeller bağlam pencerelerini uzun bir araştırma makalesini veya bir kitaptaki birden fazla bölümü kapsayacak şekilde genişletirken. Daha uzun metin girdileriyle çalışırken genellikle doğruluğu korumakta zorlanıyorlardı.

Microsoft, genişletilmiş LLM bağlam pencerelerinde doğruluğu sağlam tutmak için LongRoPE2'yi tanıttı. Bu, daha önce bellek sınırlamalarının performans sorunlarına neden olduğu belge işleme, uzun konuşmalar ve çok adımlı muhakeme yapay zeka uygulamaları için ezber bozan bir özellik.

Bağlam Penceresi Sorunu

LLM'ler, kelime sırasını ve aralarındaki ilişkiyi anlamak için Rotatory Positional Embeddings (RoPE) tekniğine dayanır. Ancak, RoPE sabit boyut sınırının ötesine geçtiğinde doğruluğunu kaybeder. Metinlerin yeni uzunluğu, girdinin önceki kısımlarından veri kaybını etkiler. Yeni girdi metni, kelimelerin temsilinde bozulmalara neden olur

Bu Neden Önemli?

Diyaloğa Dayalı Yapay Zeka: Chatbotlar ve yapay zeka, güvenilir müşteri çözümleri sunmak için geçmiş etkileşimlerden uzun konuşmaları hatırlamak zorundadır.

Yazılım Geliştirme: Geliştiricilerin tekrar eden bağlamlar olmadan büyük bir kod tabanına ihtiyacı vardır.

Bilimsel Araştırma: Teknik tartışmalar uzun ve doğru bilgi gerektirir.

Yasal ve Finansal Belgeler: Güvenilir kararlar, uzun sözleşmeleri ve raporları hiçbir ayrıntıyı kaçırmadan hatırlama becerisine bağlıdır.

Zorluk nedir? YaRN, NTK ve LongRoPE1 gibi diğer LLM'ler tarafından yapılan önceki girişimler, bağlam penceresi boyutunu genişletmek için daha kısa girdi boyutlarına odaklanmış ve bu da onları gerçek dünya uygulamaları için pratik olmaktan çıkarmıştır.

Microsoft'un LongRoPE2'si Herhangi Bir Fark Yaratıyor mu?

Microsoft'un LongRoPE2 yeniliği bu sorunları çözüyor:

1. Çarpıtılmış Bilgi: LongRoPE2 iki farklı kelimeyi farklı şekilde hatırlayabilir. Doğruluk kaybını önlemek için anahtar kelimelere daha fazla dikkat edilecektir. Dolgu kelimelerin dikkati ise sadece bağlamsal anlamları etrafında hatırlanacaktır.

2. Karmaşıklık Değerlendirmesi: Şaşkınlık, bir cümledeki bir sonraki kelimenin tahmin edilmesinin bir ölçüsüdür. LongRoPE2 hafızası, zor veya bağlamı ağır kelimelere diğer kelimelere göre öncelik verir.

3. Karışık Bağlam Eğitimi: Geleneksel LLM'ler kısa ve uzun cümleler üzerinde ayrı ayrı eğitilir. LongRoPE2 her iki cümle biçimi üzerinde de eğitim verir. Modelin herhangi bir mevcut sınırın ötesinde eğitilmesine izin verir.

Performans Artışları Sektör İçin Neden Önemli?

Microsoft'un test sonuçları etkileyicidir. Llama3-8B ve Phi3-mini3.8B gibi diğer büyük LLM'lerle yaptığı testler bunu ortaya koymaktadır:

- Kısa bağlamda %97,6 doğruluk: Artık uzun vadeli kazançlar için kısa vadeli belleği feda etmeye gerek yok.

- Meta'dan %80 daha verimli: Eğitim için sadece 10 milyar token kullanılırken, Meta'nın yaklaşımı 800 milyar token gerektiriyordu.

- Geri getirme görevlerinde %0 kayıp: Yapay zeka modelleri artık uzun belgelerin derinliklerine gömülmüş bilgileri bile çıkarabiliyor.

Bu bulgular, LLM'lerin büyük miktarda metni işleme becerisinde temel bir değişime işaret etmektedir.

Gelecekte Ne Gibi Faydalar Bekleniyor?

Uzun bağlamları işleyebilme yeteneği, günlük hayatımıza iyi entegre olan yapay zeka uygulamalarında yeni olasılıkların önünü açıyor:

1. Daha İyi Yapay Zeka Asistanları:  Geçmiş etkileşimleri unutmadan anlamlı konuşmalar ve yanıtlar.

2. Daha Akıllı Kurumsal Uygulamalar: Finansal modelleme, yasal araştırma ve uyumluluk için geliştirilmiş verimlilik.

3. Arama ve Özetleme: İyileştirilmiş araştırma ve veri analizi iş akışı.

Microsoft'un Agresif Yapay Zeka Stratejisi

Microsoft'un cesur hamleleri, daha akıllı ve bağlama duyarlı bir model oluşturmaya yönelik net bir stratejiye işaret ediyor. LongRoPE2 modeli OpenAI, Google DeepMind ve Anthropic'in ölçeklendirme taktiklerine meydan okuyarak doğruluktan ödün vermeden token limitlerini artırıyor.

Yapay zeka inovasyonunun bir sonraki dalgası, bunun gelecekteki LLM'ler için temel mi yoksa bebek adımları mı olacağını gösterecek.