AMD OLMo'yu Duyurdu!

• Yapay Zeka
• 22:37, Kas 15
• Onur Kara
• 638 Okunma
• 0 Yorum

AMD ilk tamamen açık LLM'si OLMo'yu duyurdu.

AMD, AMD OLMo olarak bilinen bir dizi büyük dil modelini (LLM) duyurarak yapay zeka cephesine bir bayrak daha dikti. OpenAI'nin GPT 4o'su gibi diğer LLM'lerde olduğu gibi, AMD'nin kurum içi eğitimli LLM'si de muhakeme ve sohbet yeteneklerine sahip. Açık kaynaklı dil modeli indirilebilir ve Instinct MI250 GPU'lar ile sinir işleme birimlerine (NPU) sahip Ryzen AI PC'lerde çalışabilir. AMD ayrıca AMD Geliştirici Bulutu'na kayıtlı yapay zeka geliştiricileri için altyapı sağlıyor.

AMD OLMo ile veri merkezlerini ve daha küçük kuruluşları hedefliyor gibi görünüyor. AMD Instinct GPU'ları kullanan veri merkezleri OLMo'yu çalıştırmak için iyi bir konuma sahip. Ancak bu tür bir donanıma sahip olmayan işletmeler de dışarıda kalmıyor: Ryzen AI ve NPU'lar sayesinde bilgisayarlarda OLMo'dan yararlanabilirler. Kuruluşların ve araştırmacıların eğitim ve ince ayar sırasında kendi bilgilerini eklemelerine izin vermek, kendi ihtiyaçlarına daha uygun LLM'ler geliştirmelerine yardımcı olabilir.

Yonga üreticisi, Instinct GPU'lardan oluşan bir küme kullanarak 1 milyar parametreli LLM serisini önceden eğitti. Bu kümede 16 düğüm üzerinde 1,3 trilyon token bulunuyordu ve her düğümde dört Instinct MI250 GPU yer alıyordu.

AMD OLMo'yu üç aşamada eğitmiştir: Ön Eğitim, SFT Aşama 1 ve 2 ve DPO Hizalama. AMD OLMo 1B, Dolma v1.7 veri kümesinin bir alt kümesi üzerinde eğitilerek bilgi ve dil kalıpları toplanmıştır. İkinci aşama olan OLMo 1B Supervised Fine-Tuned (SFT), LLM'nin bilim, kodlama ve matematik yeteneklerinin yanı sıra talimat takip performansını artırmayı amaçlayan iki aşamalı eğitim içeriyordu. Son aşama olan OLMo 1B SFT DPO'da AMD, LLM'yi insan tercihlerine göre hizaladı. Bu, LLM'ye insani değerler kazandırmayı amaçlayan kritik bir adımdır.

Şimdi OLMo 1B SFT DPO'nun performansına bakalım. AMD çeşitli kıyaslamalar yaptı ve sonuçları diğer açık kaynaklı LLM'lerle karşılaştırdı. OLMo genel olarak iyi performans gösterdi ve AlpacaEval2 ve MT-Bench gibi kıyaslamalarda gerçekten öne çıktı.

Sorumlu yapay zeka kıyaslamalarında ise AMD'nin OLMo'su TinyLlama ve MobileLlama gibi diğer açık kaynaklı LLM'lerle aynı performansı gösterdi. Sorumlu YZ kıyaslamaları, LLM'lerle insan etkileşimini etkileyebilecek nitelikleri ölçmektedir. TruthfulQA-mc2, tahmin edebileceğiniz gibi, doğru ifadeleri ölçer. ToxiGen ise zehirli dilin yaygınlığını ölçer. (Sadece ToxiGen testi için daha düşük puanlar daha iyidir.) 

OLMo, geliştirici kullanımı ve inovasyon için hazır görünüyor. AMD modeli ücretsiz olarak indirmeye sunuyor.

0 Yorum

Onur Kara

Elektrik-Elektronik Mühendisi

ADMİN

PROFİL