Luminous, Avrupa’nın AI açığını kapatıyor: Aleph Alpha, ABD’li sağlayıcılarla aynı seviyede
Alman AI şirketi Aleph Alpha’nın araştırma departmanı etkileyici bir performans raporu sundu: Nötr karşılaştırmalı değerlere göre, Luminous ailesinin AI modelleri kullanımda OpenAI’nin yayıncısı olan GPT-3’ten daha verimli. sohbet AI ChatGPT. Luminous ile Avrupa yapay zekası, performans özellikleri açısından ilk kez ABD’deki dünyanın en iyi yapay zeka sistemleriyle aynı seviyede olmalıdır – yani ChatGPT gibi uygulamalar için temel oluşturan ortak büyük dil modelleri (LLM) ve temel modeller .
Lumi: David, Golyat’a karşı mı?
Karşılaştırma için, Heidelberg araştırma ekibi Almanya’da geliştirilen Luminous Foundation Modellerini sistematik bir dizi teste tabi tuttu ve diğer şeylerin yanı sıra 70 milyar parametreli büyük Luminous-supreme modelini OpenAI, BigScience ve Meta AI’dan üç modelle karşılaştırdı. davinci (OpenAI, 175 milyar parametre), BLOOM (BigScience, 176 milyar parametre) ve OPT (Meta AI, 175 milyar parametre) ile iki katından daha büyük. Kıyaslamalar bağımsız araştırma grubu EleutherAI’den geliyor, daha fazlası makalenin sonunda.
Yüksek doğruluk ve daha büyük modellerle aynı seviyede
Boyut farklılıkları göz önüne alındığında, doğruluk, yani Heidelberg modelinin doğruluğu ve doğruluğu, kulaklarımızı dikmemize neden oluyor. Sınıflandırma, kapalı metin bazında soruları yanıtlama, akıl yürütme ve akıl yürütme, okuduğunu anlama ve ayrıca doğal dil çıkarımı ile ilgili görevler için Luminous, OpenAI ve Meta’nın karşılaştırma adaylarıyla aynı seviyedeyken, BLOOM bazılarında beş kategoriden dördünü geride bıraktı. önemli ölçüde vakalar. Luminous, aynı seviyede performansla iki kat daha verimlidir ve bu da onu son derece rekabetçi kılar. Kurucu ve CEO Jonas Andrulis’e göre şu anda test aşamasında olan 300 milyar parametreli bir versiyonun piyasaya sürülmesi, oldukça karmaşık ve kritik uygulamalar için olanaklar sağlayacak, bu nedenle heyecan verici olmalı.
Karşılaştırılan temel görevler: Aleph Alpha’dan Luminous, OpenAI’den davinci, BigScience’tan BLOOM ve Meta AI’dan OPT ile karşılaştırıldığında
(Resim: Aleph Alpha, Luminous Performance Benchmarks)
Şimdiye kadar, Aleph Alpha’nın AI modelleri, 13 ila 70 milyar parametre arasında üç boyutta mevcuttur. Daha sonraki testlerde, bu üç model kategorisinin yetenekleri karşılaştırma için teste tabi tutuldu: Luminous-base (13B), Luminous-extended (30B) ve Luminous-supreme (70B), davinci’nin 175 milyar parametresine kıyasla oldukça iyi performans gösterdi. OpenAI (davinci, GPT-3 ailesinin üretken bir metin modelidir) – hem gelişmiş metin işlemede hem de birkaç adımda metin eklerken (birkaç adımlı yönlendirme). Test, sıfır ila beş adımı inceledi. Özellikle Luminous ailesinin en genç üyesi olan 70 milyarlık Luminous-supreme parametresi, test çalıştırmalarında oldukça başarılı oldu ve bazı durumlarda OpenAI’nin metin modelinin performansını aştı. Tam performans raporu, Aleph Alpha araştırma alanında halka açıktır.
Luminous kardeşler (13 ila 70 milyar parametre), OpenAI’den Davinci’yi (175 milyar parametre) bu kadar ikna edici bir şekilde yendi.
(Resim: Aleph Alpha, Luminous Performance Benchmarks)
Aydınlık: beş Avrupa dilinde metin tabanı
Karşılaştırma, metinleri sınıflandırmak, değerlendirmek ve oluşturmak için görevlerin yanı sıra metin içeriğiyle ilgili soruları yanıtlamayı içeriyordu. Test kitinin GitHub açıklamasına göre, tüm görevler ve sonuçlar tekrarlanabilir olmalıdır. Spektrum, Aleph Alpha Playground ve API istemcisinin kullanıcılara ve uygulama geliştiricilere sunduğu üç temel seçeneğe karşılık gelir: Soru-Cevap, metin ekleme ve yüklenen metinleri özetleme. Görüntüler ve görüntü-metin kombinasyonları da Aleph Alpha ile kombinasyon halinde (çok modlu) işlenebilir, ancak bu, görünüşe göre bu kıyaslama testinde hiçbir rol oynamadı. Luminous modelleri, İngilizce, Almanca, Fransızca, İtalyanca ve İspanyolca dillerinde seçilen kaynaklarla çok dilli metin bazında önceden eğitilmiştir ve bu dillerin her biri için eğitime giren 400 ila 588 milyar jeton vardır. ChatGPT’deki bazı test kullanıcılarının zaten fark ettiği gibi, GPT-3’ün OpenAI aracılığıyla eğitim veritabanına bakıldığında (“İngilizce ile 10 kat daha iyi çalışıyormuş gibi hissettiriyor“).
Eng(lisch)er horizon: GPT-3 neredeyse hiç yabancı dil bilmiyor
Karşılaştırma için: GPT-3’ün eğitimine toplam 499 milyar belirteç aktı, bunların çoğu (410 milyar) filtrelenmiş “ortak taramalardan”, yani veri trolüyle World Wide Web’den çekilen konuşma verilerinden geldi. 67 milyar parametre kitaplardan, 19 milyar parametre web bağlantılarını daha uzun süre tarayan “WebText2” adlı bir veri koleksiyonundan ve yalnızca 3 milyar (eğitim karışımında yaklaşık yüzde 3 ağırlık) İngilizce Vikipedi’den geliyor – ve görünüşe göre sadece bundan.
GPT-3’ü eğitmek için milyar jeton cinsinden kullanılan kayıtlar ve yüzde ağırlıkları.
(Resim: arxiv.org / eski OpenAI ekibi)
Özel olarak tek dilde eğitilen önceki model GPT-2’den farklı olarak GPT-3, eğitim sırasında yabancı dillerde de biraz materyal gördü. arxiv.org’da saklanan GPT-3 (“Dil Modelleri Çok Az Kişidir”) hakkındaki makale kabaca rakamları veriyor: GPT-3’ten alınan eğitim verilerinin yüzde 93’ü İngilizce idi. Biraz değersiz görünen kalan yüzde yedi, dünya dillerinin hepsi olmasa da diğer dillerde malzeme içeriyordu. Avrupa dilleri bu nedenle GPT-3 eğitim veri setinde neredeyse hiç temsil edilmedi ve ondan türetilen uygulamalarda ciddi şekilde yetersiz temsil ediliyor. Aynısı Afrika ve Asya dilleri için de geçerlidir (bu nedenle, örneğin Afrika’da kendi AI modelleri için dilsel gerçekliği daha iyi temsil eden çok sayıda girişim vardır).
Aleph Alpha ve EleutherAI – Avrupa alternatifleri
Bilimsel araştırmanın temeli, otoregresif dil modellerinin birkaç adımda değerlendirilmesi için bir çerçeve olan araştırma topluluğu EleutherAI’nin “Evaluation Harness lm-eval” paketiydi. BERT gibi farklı bir mimariye sahip çift yönlü modellerin aksine bu, GPT-2, GPT-3 ve GPT-Neo gibi Luminous’un da tip olarak sınıfına ait olduğu büyük AI trafo modelleri anlamına gelir.
Andrulis’e göre Luminous, “birçok ortamda güçlü bir alternatif ve dolayısıyla Avrupa’nın teknolojik egemenliğine doğru önemli bir adım.” Halihazırda pratik kullanım örnekleri var: Örneğin, Heidelberg şehri, Aleph Alpha tarafından geliştirilen, derlenmiş bir veritabanı üzerinde çalışan ve kamu yönetimi ile halk arasındaki alışverişi kolaylaştıran Lumi vatandaş asistanını kullanıyor. Baden-Württemberg şirketinin bir diğer odak noktası, AI’yı pratikte güvenli hale getirmek için anlaşılabilirlik ve açıklanabilirlik (Açıklanabilir AI) üzerinedir – AI kontrollü yeteneklerin günlük uygulamalara hızlı bir şekilde dahil edilmesi göz önüne alındığında bir zorunluluktur.
Açıklanabilirlik, AI güvenliği ve görünürlüğü
Bu amaçla ekip, Ocak 2023’ün sonunda uluslararası ilgi gören bir araştırma makalesi sundu. Genel müdür ve kurucu, kendine güven duymadan değil, ChatGPT’yi o sırada Twitter’da, çıktı üzerinde büyük doğruluk ve kontrol gerektiren yüksek kaliteli işler için “işe yaramaz” olarak nitelendirdi. Andrulis ve ekibi, temel araştırmaları nedeniyle 2021’de Alman Yapay Zeka Ödülü’nü kazandı. Aleph Alpha’nın Açıklanabilir AI araştırması hakkındaki tweet, yaklaşık çeyrek milyon Twitter okuyucusuna ulaştı ve görünüşe göre şirketin görünürlüğünü Almanca dil sınırlarının ötesinde artırdı.
Daha fazla bilgi arıyorsanız veya modelleri test etmek istiyorsanız, bunları Aleph Alpha web sitesinde bulabilirsiniz. Luminous’a Oyun Alanı (ücretsiz başlangıç kredisi ile) veya API aracılığıyla erişilebilir. Web sitesinin Araştırma bölümünde daha fazla araştırma mevcuttur ve karşılaştırmalı değerlendirmelerle birlikte, Aydınlık Performans Raporu bilgi istemleri ve çıktı örnekleri sağlar. 300 milyar parametreli Luminous World şu anda test aşamasında ve bu yıl yayınlanması planlanıyor.
ayrıca oku
Daha fazla göster
daha az göster
EleutherAI: Bağımsız araştırma için karşı noktalar
Merkezi olmayan bir araştırma topluluğu olarak EleutherAI, yapay zekanın anlaşılabilirliğini ve ölçeklendirilmesini, açık kaynaklı yapay zeka araştırmasını ve yapay zeka için hizalamayı, yani yapay zeka modellerinin ve uygulamalarının insani değerlerle uyumlu hale getirilmesini ve uygulamalarda güvenli kullanımını amaçlar. 2022’nin başında grubun kendisi, OpenAI’den GPT-3’e açık kaynaklı bir alternatif olarak kabul edilen 20 milyar parametreli açık kaynaklı bir dil modeli olan GPT-NeoX-20B’yi sundu. Bağımsız araştırmacılardan oluşan topluluk, Discord ve GitHub aracılığıyla birlikte çalışıyor ve 2020 baharında GPT-3’ün piyasaya sürülmesinden bu yana Microsoft OpenAI durumunda ciddi şekilde kısıtlanmış olan ABD menşeli tescilli modellere alternatifleri savunuyor.
Kolektif, yapay zeka araştırmacıları, mühendisleri ve geliştiricilerinden oluşan gevşek bir birlik olarak Temmuz 2020’den beri varlığını sürdürüyor. Ortak çıkarların odak noktası, Aleph Alpha’nın araştırma departmanının yaptığı gibi, “hiper ölçekleyicilerin” Avrupalı rakiplerinin de EleutherAI’ye dahil olması ve kendi gelişimlerini kontrol etmek için kolektifte oluşturulan araştırma yöntemlerini kullanmasıyla açık kaynak yapay zekadır. Heidelberg merkezli şirket, 2019’da kurulduğundan beri bu tabandan gelen yapay zeka hareketini destekliyor ve kendi modellerinin ve araştırmalarının parçalarını kamuya açık hale getirdi.
(o)
Haberin Sonu