Karpathy, GOAT AI korsanıdır!
Yeni repo'yu yayınlamaktan heyecan duyuyoruz: nanochat!
(yazdığım en dengesiz yazılardan biri).
Yalnızca ön eğitimi kapsayan daha önceki benzer depo nanoGPT'min aksine, nanochat, tek bir bağımlılık-minimum kod tabanında basit bir ChatGPT klonunun minimal, sıfırdan, tam yığın eğitim/çıkarım hattıdır. Bir bulut GPU kutusunu başlatırsınız, tek bir komut dosyası çalıştırırsınız ve 4 saat gibi kısa bir süre sonra ChatGPT benzeri bir web kullanıcı arayüzünde kendi LLM'nizle konuşabilirsiniz.
~8.000 satırlık imo oldukça temiz kod ağırlığındadır:
- Yeni bir Rust uygulaması kullanarak belirteç oluşturucuyu eğitin
- FineWeb'de bir Transformer LLM'yi önceden eğitin, CORE puanını bir dizi metrikte değerlendirin
- SmolTalk'tan kullanıcı asistanı konuşmaları, çoktan seçmeli sorular, araç kullanımı konusunda orta eğitim.
- SFT, dünya bilgisi çoktan seçmeli (ARC-E/C, MMLU), matematik (GSM8K), kod (HumanEval) üzerine sohbet modelini değerlendirin
- Modeli isteğe bağlı olarak GSM8K'da "GRPO" ile RL yapın
- KV önbelleği, basit ön doldurma/kod çözme, araç kullanımı (hafif bir sanal alanda Python yorumlayıcısı) ile bir Motorda modeli verimli bir şekilde çıkarın, onunla CLI veya ChatGPT benzeri WebUI üzerinden konuşun.
- Her şeyi özetleyen ve oyunlaştıran tek bir indirim karnesi yazın.
~$100 gibi düşük bir maliyetle bile (8XH100 düğümünde ~4 saat), konuşabileceğiniz, hikayeler/şiirler yazabilen, basit soruları yanıtlayabilen küçük bir ChatGPT klonunu eğitebilirsiniz. Yaklaşık ~12 saat GPT-2 CORE metriğini aşıyor. ~1000$'a (~41.6 saatlik eğitim) doğru ölçeklendikçe, hızla çok daha tutarlı hale gelir ve basit matematik/kod problemlerini çözebilir ve çoktan seçmeli testler yapabilir. Örneğin, 24 saat boyunca eğitilmiş bir derinlik 30 modeli (bu, GPT-3 Small 125M'nin FLOP'larına ve GPT-3'ün 1/1000'ine yaklaşık olarak eşittir) MMLU'da 40'lara ve ARC-Easy'de 70'lere, GSM8K'da 20'lere vb. girer.
Amacım, tam "güçlü temel" yığınını tek bir uyumlu, minimal, okunabilir, hacklenebilir, maksimum çatallanabilir depoya dönüştürmek. nanochat, LLM101n'nin (halen geliştirilmekte olan) bitirme projesi olacak. Kendisinden önceki nanoGPT'ye benzer bir araştırma koşum takımı veya bir kıyaslama haline gelme potansiyeline de sahip olduğunu düşünüyorum. Hiçbir şekilde bitmemiş, ayarlanmamış veya optimize edilmemiş (aslında muhtemelen oldukça fazla düşük asılı meyve olduğunu düşünüyorum), ancak genel iskeletin, tüm parçalarının geliştirilebileceği GitHub'da yukarı çıkabilecek kadar iyi olduğu bir yerde olduğunu düşünüyorum.
Repo bağlantısı ve nanochat speedrun'un ayrıntılı bir açıklaması yanıtta.

27,25 B
24
Bu sayfadaki içerik üçüncü taraflarca sağlanmaktadır. Aksi belirtilmediği sürece, atıfta bulunulan makaleler OKX TR tarafından kaleme alınmamıştır ve OKX TR, bu materyaller üzerinde herhangi bir telif hakkı talebinde bulunmaz. İçerik, yalnızca bilgilendirme amaçlı sağlanmıştır ve OKX TR’nin görüşlerini yansıtmaz. Ayrıca, sunulan içerikler herhangi bir konuya ilişkin onay niteliği taşımaz ve yatırım tavsiyesi veya herhangi bir dijital varlığın alınıp satılmasına yönelik davet olarak değerlendirilmemelidir. Özetler ya da diğer bilgileri sağlamak için üretken yapay zekânın kullanıldığı durumlarda, bu tür yapay zekâ tarafından oluşturulan içerik yanlış veya tutarsız olabilir. Daha fazla ayrıntı ve bilgi için lütfen bağlantıda sunulan makaleyi okuyun. OKX TR, üçüncü taraf sitelerde barındırılan içeriklerden sorumlu değildir. Sabit coinler ve NFT’ler dâhil olmak üzere dijital varlıkları tutmak, yüksek derecede risk içerir ve bu tür varlık fiyatlarında büyük ölçüde dalgalanma yaşanabilir. Dijital varlıkları alıp satmanın veya tutmanın sizin için uygun olup olmadığını finansal durumunuz ışığında dikkatlice değerlendirmelisiniz.