SLM (küçük dil modeli) nedir?
SLM (Small Language Model, küçük dil modeli), büyük dil modellerine göre çok daha az parametreyle çalışan, bu sayede daha ucuz, daha hızlı ve kendi altyapınızda çalıştırılabilen bir dil modelidir. Her konuda konuşmak yerine dar ve iyi tanımlı işlerde kullanılır: sınıflandırma, bilgi çıkarma, yönlendirme, kısa özet. Doğru işte büyük bir modele yakın sonucu çok daha düşük maliyetle verebilir.
Tanım
SLM (Small Language Model, küçük dil modeli), büyük dil modellerine göre çok daha az parametreyle çalışan, bu sayede daha ucuz, daha hızlı ve kendi altyapınızda çalıştırılabilen bir dil modelidir.
SLM nasıl çalışır?
Küçük dil modeli, büyük dil modeli ile aynı mimariye dayanır; yalnızca parametre sayısı çok daha azdır. Microsoft Phi, Google Gemma ve Mistral’in küçük modelleri bilinen örneklerdir. Az parametre daha az bellek ve işlem gücü demektir. Model bu sayede tek bir sunucuda, bir dizüstü bilgisayarda veya doğrudan cihaz üzerinde çalışabilir.
Bedeli genel yetenektir. Küçük model geniş genel bilgide ve çok adımlı akıl yürütmede büyük modelin gerisinde kalır. Dar bir görevde ise fine-tuning ile o göreve uyarlandığında farkı büyük ölçüde kapatabilir.
Ne zaman SLM tercih edilir?
Görev dar ve tekrarlıysa, hacim yüksekse ve yanıt süresi önemliyse. Gelen e-postayı kategoriye ayırmak, bir belgeden belirli alanları çıkarmak veya bir talebi doğru ekibe yönlendirmek tipik işlerdir. Yaygın bir kurulumda küçük model işlerin çoğunu karşılar, zor istekler büyük modele aktarılır. Böylece token başına maliyet düşer ve kalite korunur.
Türkiye’de SLM neden gündemde?
İlk neden veridir. Küçük bir model kendi sunucunuzda veya Türkiye’deki bir veri merkezinde çalışabilir; veri kurum dışına çıkmaz. Bu, KVKK kapsamındaki yurt dışına aktarım sorusunu sadeleştirir. Banka, sigorta ve sağlık gibi düzenlemeye tabi sektörlerde bu seçenek ayrıca değerlidir. Uygunluk değerlendirmesini hukuk danışmanınızla birlikte yapın.
İkinci neden maliyettir. Kendi altyapınızda çalışan bir modelin gideri döviz kuruna ve istek sayısına daha az bağlıdır. Buna karşılık sunucu, bakım ve izleme sorumluluğu size geçer.
İlgili yazılar
İşiniz için LLM nasıl seçilir?Kurumsal kullanım için dil modeli seçiminde kriterler, erişim yolu, veri saklama, açık model ve kendi verinizle test yöntemi.
KVKK ve üretken yapay zeka kontrol listesiÇalışanların sohbet araçlarını kullanımından API entegrasyonuna kadar, üretken yapay zekada KVKK için adım adım kontrol listesi.
RAG projesinin maliyetini ne belirler?RAG bilgi asistanında tek seferlik ve işletme maliyet kalemleri, maliyeti artıran ve düşüren tercihler, teklif öncesi hazırlık.İlgili terimler
- LLM (Büyük Dil Modeli)LLM (Large Language Model, büyük dil modeli), çok büyük metin verisiyle eğitilmiş ve bir metnin devamını tahmin ederek soru cevaplayan, özetleyen, çeviren ve yazan bir yapay zeka modelidir.
- Fine-tuning (ince ayar)Fine-tuning (ince ayar), önceden eğitilmiş bir yapay zeka modelini belirli bir görev, üslup veya çıktı biçimi için kendi örnek verilerinizle ek eğitimden geçirme işlemidir.
- Token (Yapay Zeka)Token, bir dil modelinin metni okurken ve yazarken kullandığı, çoğu zaman kelimeden küçük olan ve kullanım ücretinin hesaplandığı metin birimidir.
- Üretken Yapay Zeka (Generative AI)Üretken yapay zeka, büyük veri kümelerinden öğrendiği örüntülere dayanarak metin, görsel, ses, video veya kod gibi yeni içerik üreten yapay zeka türüdür.
- KVKK (Kişisel Verilerin Korunması Kanunu)KVKK, Türkiye'de kişisel verilerin işlenmesine ilişkin kuralları ve kişilerin haklarını belirleyen 6698 sayılı Kişisel Verilerin Korunması Kanunu'dur.
Sık sorulan sorular
SLM ile LLM arasındaki sınır nerede?
Kesin bir sınır yoktur. Ayrım parametre sayısından çok kullanım biçimine bakar: tek bir sunucuda, bir dizüstünde veya cihaz üzerinde çalışabilen ve dar görevler için seçilen modeller genellikle SLM olarak anılır.
Küçük model Türkçede yeterli olur mu?
İşe göre değişir. Sınıflandırma ve alan çıkarma gibi dar görevlerde iyi sonuç verebilir. Uzun ve akıcı Türkçe metin üretiminde büyük modeller çoğu zaman öndedir. Kararı kendi verinizden hazırlanmış bir test setiyle verin.
SLM kullanmak için GPU sunucusu şart mı?
Her zaman değil. Küçük modellerin sıkıştırılmış sürümleri güçlü bir işlemcide veya tek bir GPU'da çalışabilir. Yüksek hacim ve düşük gecikme gerekiyorsa GPU'lu bir sunucu veya yönetilen bir bulut hizmeti daha uygundur.
Dönüşümünüzü birlikte konuşalım
Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.
Nasıl başlıyoruz?
- Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
- 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
- Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.