Meta LAMA sayesinde, AI metin modelleri "Kararlı Yayılma momentlerine" sahip olabilir."
Yapay zeka Ülkesinde işler yıldırım hızında ilerliyor. Cuma günü, Georgi Gergov adlı bir yazılım geliştiricisi "lama" adlı bir araç yarattı.meta'nın yeni GPT-3 sınıfı AI büyük dil modeli Llama'yı yerel olarak bir Mac dizüstü bilgisayarda çalıştırabilen "cpp". Kısa bir süre sonra insanlar Lama'yı Windows'ta da nasıl çalıştıracaklarını çözdüler. Sonra birisi bir Pixel 6 telefonda çalıştığını gösterdi ve ardından bir Raspberry Pi geldi (çok yavaş çalışıyor olsa da).
Bu devam ederse, bilmeden önce cep boyutunda bir ChatGPT rakibine bakıyor olabiliriz.
Ama bir dakika geri çekilelim, çünkü henüz tam olarak orada değiliz. (En azından bugün değil - kelimenin tam anlamıyla bugün olduğu gibi, 13 Mart 2023.) Ama gelecek hafta ne gelecek, kimse bilmiyor.
ChatGPT piyasaya sürüldüğünden beri, bazı insanlar AI modelinin openaı'nin hassas gördüğü konuları tartışmasını engelleyen yerleşik sınırlarından dolayı hayal kırıklığına uğradı. Böylece, herkesin sansürsüz ve openaı'ye API ücreti ödemeden yerel olarak çalıştırabileceği bir açık kaynaklı büyük dil modeli (LLM) hayali — bazı kesimlerde — başladı.
Açık kaynaklı çözümler mevcuttur (GPT-J gibi), ancak çok fazla GPU RAM ve depolama alanı gerektirirler. Diğer açık kaynak alternatifleri, hazır tüketici düzeyinde donanımlarda GPT-3 düzeyinde performansa sahip olamazdı.
7B ile 65B arasında değişen parametre boyutlarında kullanılabilen bir LLM olan Llama'yı girin (bu, modelin "bildiklerini" temsil eden matrislerde depolanan kayan nokta sayıları olan "milyar parametreler" deki gibi "B" dir). Lama, daha küçük boyutlu modellerinin, çıktısının kalitesi ve hızında chatgpt'ye güç veren temel model olan openaı'nin GPT-3'üyle eşleşebileceğini öne sürdü. Sadece bir sorun vardı — Meta, LAMA kodunu açık kaynak olarak yayınladı, ancak yalnızca nitelikli araştırmacılar için "ağırlıkları" (bir sinir ağında depolanan eğitimli "bilgi") geri tuttu.
Lama hızında uçmak
LAMA üzerindeki metal kısıtlamaları uzun sürmedi çünkü 2 Mart'ta biri Lama ağırlıklarını bittorrent'e sızdırdı. O zamandan beri, lamayı çevreleyen bir gelişme patlaması oldu. Bağımsız AI araştırmacısı Simon Willison, bu durumu geçen Ağustos ayında piyasaya sürülen açık kaynaklı bir görüntü sentezi modeli olan Kararlı Difüzyonun piyasaya sürülmesiyle karşılaştırdı. İşte blogundaki bir gönderide yazdığı şey:
Bana öyle geliyor ki, Ağustos ayındaki İstikrarlı Yayılma anı, üretken yapay zekaya olan tüm yeni ilgi dalgasını başlattı - ki bu daha sonra Kasım sonunda chatgpt'nin piyasaya sürülmesiyle aşırı harekete geçti.Chatgpt'nin arkasındaki teknoloji olan büyük dil modelleri için bu Kararlı Yayılma anı şu anda tekrar yaşanıyor. Bu sabah ilk kez kendi kişisel dizüstü bilgisayarımda GPT-3 sınıfı bir dil modeli çalıştırdım!Yapay zeka olayı zaten garipti. Daha da garipleşmek üzere.
Tipik olarak, GPT-3'ü çalıştırmak birkaç veri merkezi sınıfı A100 GPU gerektirir (ayrıca GPT-3'ün ağırlıkları herkese açık değildir), ancak LAMA, tek bir kaslı tüketici GPU'su üzerinde çalışabileceği için dalgalar yarattı. Ve şimdi, niceleme adı verilen bir teknik kullanarak model boyutunu küçülten optimizasyonlarla LAMA, bir M1 Mac veya daha az Nvidia tüketici gpu'sunda çalışabilir ("lama.cpp" şu anda yalnızca CPU üzerinde çalışıyor — ki bu kendi yolunda etkileyici ve şaşırtıcı).
İşler o kadar hızlı ilerliyor ki, en son gelişmelere ayak uydurmak bazen zor oluyor. ((AI'nın ilerleme hızıyla ilgili olarak, bir AI muhabiri Ars'ye şunları söyledi: "Üzerlerinde bir sandık tenis topu açtığınız köpeklerin videoları gibi. [Onlar] ilk önce nerede kovalayacaklarını ve kafa karışıklığı içinde kaybolacaklarını bilmiyorlar.")
Örneğin, Willison'ın bir Hacker News yorumunda ortaya koyduğu bir zaman çizelgesine dayanan LAMA ile ilgili dikkate değer olayların bir listesi:
- 24 Şubat 2023: Meta AI, Lama'yı duyurdu.
- 2 Mart 2023: Birisi Lama modellerini BitTorrent üzerinden sızdırıyor.
- 10 Mart 2023: Georgi Gergov lama yarattı.M1 Mac'te çalışabilen cpp.
- 11 Mart 2023: Artem Andreenko, LLaMA 7b'yi (yavaşça) bir Raspberry Pi 4, 4GB RAM, 10 sn / token üzerinde çalıştırıyor.
- 12 Mart 2023: Bir düğüm olan npx'te çalışan Lama 7B.js yürütme aracı.
- 13 Mart 2023: Birisi lama alır.cpp, Pixel 6 telefonunda da çok yavaş çalışıyor.
- 13 Mart 2023, 2023: Stanford, LLaMA 7b'nin "openaı'nin"text-davinci-003'üne benzer şekilde davranan, ancak çok daha az güçlü donanımlarla çalışan, talimatlara göre ayarlanmış bir sürümü olan Alpaka 7b'yi piyasaya sürdü.
LAMA ağırlıklarını kendimiz aldıktan sonra Willison'ın talimatlarını takip ettik ve 7B parametre sürümünü bir M1 Macbook Air'de çalıştırdık ve makul bir hızda çalışıyor. Komut satırında komut istemiyle komut dosyası olarak adlandırırsınız ve LAMA bunu makul bir şekilde tamamlamak için elinden gelenin en iyisini yapar.
Nicelemenin çıktının kalitesini ne kadar etkilediği sorusu hala var. Testlerimizde, 4 bit nicelemeye indirgenmiş LAMA 7B, bir MacBook Air'de çalışmak için çok etkileyiciydi - ancak yine de chatgpt'den bekleyebileceğinizle aynı seviyede değildi. Daha iyi yönlendirme tekniklerinin daha iyi sonuçlar üretmesi tamamen mümkündür.
Ayrıca, LLaMA hala oldukça kısıtlayıcı bazı kullanım koşullarıyla dolu olsa da, optimizasyonlar ve ince ayarlamalar herkesin kod ve ağırlıklar üzerinde eline geçtiğinde hızlı bir şekilde gelir. Alpaca'nın bugün Stanford tarafından piyasaya sürülmesi, ince ayarın (belirli bir hedefi göz önünde bulundurarak ek eğitim) performansı artırabileceğini kanıtlıyor ve hala Lama'nın piyasaya sürülmesinden sonraki ilk günler.
Bu yazı itibariyle, Mac'te LAMA çalıştırmak oldukça teknik bir alıştırma olmaya devam ediyor. Python ve Xcode'u kurmanız ve komut satırında çalışmaya aşina olmanız gerekir. Willison, denemek isteyen herkes için adım adım iyi talimatlara sahiptir. Ancak geliştiriciler kodlamaya devam ettikçe bu yakında değişebilir.
Bu teknolojinin vahşi doğada olmasının etkilerine gelince - henüz kimse bilmiyor. Bazıları AI'nın spam ve yanlış bilgilendirme aracı olarak etkisinden endişe ederken Willison, "İcat edilmeyecek, bu yüzden önceliğimizin onu kullanmanın mümkün olan en yapıcı yollarını bulmak olması gerektiğini düşünüyorum."
Şu anda tek garantimiz işlerin hızla değişeceğidir.
Tags:
Bilgi Teknolojisi