OpenAI'nin koruma sürecinin kritik bir parçası, yeni sistemlerdeki potansiyel riskleri ve güvenlik açıklarını keşfetmek için hem insan hem de yapay zeka katılımcılarını kullanan yapılandırılmış bir metodoloji olan “kırmızı ekip oluşturma ”dır.

Tarihsel olarak OpenAI, kırmızı ekip oluşturma çabalarına ağırlıklı olarak, bireylerin zayıflıkları araştırmasını içeren manuel testler yoluyla katılmıştır. Bu, özellikle 2022'nin başlarında DALL-E 2 görüntü oluşturma modelinin test edilmesi sırasında kullanılmış ve potansiyel riskleri belirlemek üzere dışarıdan uzmanlar davet edilmiştir. O zamandan bu yana OpenAI, daha kapsamlı bir risk değerlendirmesi için otomatik ve karma yaklaşımları dahil ederek metodolojilerini genişletti ve geliştirdi.

OpenAI, “Model hatalarının keşfini ölçeklendirmek için daha güçlü bir yapay zeka kullanabileceğimiz konusunda iyimseriz” dedi. Bu iyimserlik, otomatik süreçlerin modellerin değerlendirilmesine yardımcı olabileceği ve daha büyük ölçekte kalıpları ve hataları tanıyarak onları daha güvenli olacak şekilde eğitebileceği fikrine dayanıyor.

İlerlemeye yönelik son çabalarında OpenAI, kırmızı ekip oluşturma konusunda iki önemli belgeyi paylaşıyor: dış katılım stratejilerini detaylandıran bir beyaz kitap ve otomatik kırmızı ekip oluşturma için yeni bir yöntem sunan bir araştırma çalışması. Bu katkılar, kırmızı ekip oluşturma sürecini ve sonuçlarını güçlendirmeyi ve nihayetinde daha güvenli ve daha sorumlu YZ uygulamalarına yol açmayı amaçlamaktadır.

YZ gelişmeye devam ettikçe, kullanıcı deneyimlerini anlamak ve istismar ve kötüye kullanım gibi riskleri belirlemek araştırmacılar ve geliştiriciler için çok önemlidir. Kırmızı ekip çalışması, özellikle bir dizi bağımsız dış uzmandan gelen görüşlerle desteklendiğinde, bu riskleri değerlendirmek için proaktif bir yöntem sağlar. Bu yaklaşım yalnızca ölçütlerin oluşturulmasına yardımcı olmakla kalmaz, aynı zamanda güvenlik değerlendirmelerinin zaman içinde geliştirilmesini de kolaylaştırır.

İnsani dokunuş

OpenAI, etkili kırmızı ekip kampanyaları tasarlamak için “OpenAI'nin Yapay Zeka Modelleri ve Sistemleri için Harici Kırmızı Ekip Yaklaşımı” başlıklı teknik incelemesinde dört temel adımı paylaştı:

1. Kırmızı ekiplerin oluşturulması: Ekip üyelerinin seçimi, kampanyanın hedeflerine dayanmaktadır. Bu genellikle doğa bilimleri, siber güvenlik ve bölgesel politika uzmanlığı gibi farklı perspektiflere sahip bireyleri içerir ve değerlendirmelerin gerekli genişliği kapsamasını sağlar.

2. Model versiyonlarına erişim: Kırmızı ekip üyelerinin bir modelin hangi versiyonlarına erişeceğinin netleştirilmesi sonuçları etkileyebilir. Erken aşamadaki modeller doğal riskleri ortaya çıkarabilirken, daha gelişmiş versiyonlar planlanan güvenlik azaltmalarındaki boşlukların belirlenmesine yardımcı olabilir.

3. Rehberlik ve dokümantasyon: Kampanyalar sırasında etkili etkileşimler açık talimatlara, uygun arayüzlere ve yapılandırılmış belgelere dayanır. Bu, modellerin, mevcut güvenlik önlemlerinin, test arayüzlerinin ve sonuçların kaydedilmesi için kılavuzların açıklanmasını içerir.

4. Veri sentezi ve değerlendirme: Kampanya sonrası veriler, örneklerin mevcut politikalarla uyumlu olup olmadığını veya yeni davranış değişiklikleri gerektirip gerektirmediğini belirlemek için değerlendirilir. Değerlendirilen veriler daha sonra gelecekteki güncellemeler için tekrarlanabilir değerlendirmeleri bilgilendirir.

Bu metodolojinin yakın tarihli bir uygulaması, OpenAI o1 model ailesinin kamusal kullanım için hazırlanmasını, potansiyel kötüye kullanıma karşı dirençlerinin test edilmesini ve gerçek dünya saldırı planlaması, doğa bilimleri ve yapay zeka araştırmaları gibi çeşitli alanlardaki uygulamalarının değerlendirilmesini içeriyordu.

Otomatik kırmızı ekip çalışması

Otomatik kırmızı ekip çalışması, özellikle güvenlikle ilgili konularda yapay zekanın başarısız olabileceği durumları tespit etmeye çalışır. Bu yöntem, hızlı bir şekilde çok sayıda potansiyel hata örneği üreterek ölçekte üstünlük sağlar. Bununla birlikte, geleneksel otomatik yaklaşımlar çeşitli ve başarılı saldırı stratejileri üretmekte zorlanmaktadır.

OpenAI'nin araştırması, etkinliği korurken saldırı stratejilerinde daha fazla çeşitliliği teşvik eden bir yöntem olan “Otomatik Oluşturulan Ödüller ve Çok Aşamalı Takviye Öğrenimi ile Çeşitli ve Etkili Kırmızı Takım Oluşturma ”yı tanıtıyor.

Bu yöntem, yasadışı tavsiye gibi farklı senaryolar üretmek için yapay zekanın kullanılmasını ve bu senaryoları eleştirel bir şekilde değerlendirmek için kırmızı ekip modellerinin eğitilmesini içeriyor. Süreç çeşitliliği ve etkinliği ödüllendirerek daha çeşitli ve kapsamlı güvenlik değerlendirmelerini teşvik eder.

Faydalarına rağmen, kırmızı ekip çalışmasının sınırlamaları vardır. YZ modelleri geliştikçe değişebilecek olan riskleri zaman içinde belirli bir noktada yakalar. Buna ek olarak, kırmızı ekip oluşturma süreci, kötü niyetli aktörleri henüz yaygın olarak bilinmeyen güvenlik açıklarına karşı potansiyel olarak uyararak istemeden bilgi tehlikeleri yaratabilir. Bu riskleri yönetmek, sıkı protokoller ve sorumlu açıklamalar gerektirir.

Kırmızı ekip oluşturma, risk keşfi ve değerlendirmesinde çok önemli olmaya devam ederken, OpenAI, teknolojinin toplumsal değerler ve beklentilerle uyumlu olmasını sağlamak için YZ'nin ideal davranışları ve politikaları hakkında daha geniş kamu perspektiflerini dahil etmenin gerekliliğini kabul etmektedir.