Hugging Face'de Abliterate Edilmiş LLM: İlk Kontrol Edilecekler
Bir abliterate edilmiş llm huggingface sayfasında gezinirken, benzer isimlere ve çok farklı kalitelere sahip onlarca yükleme bulacaksınız. Model kartını okumak için kısa bir kontrol listesi ve ağırlıkları indirmenin ne zaman değerli olduğunun ve barındırılan bir modele istek göndermenin ne zaman daha kolay olduğunun net bir görünümünü burada bulacaksınız.
Güncellendi


Temel noktalar
- Herhangi bir şey indirmeden önce karttaki temel modeli, lisansı, formatı ve nicemlemeyi okuyun.
- Pickle tabanlı formatlar yerine safetensors veya GGUF dosyalarını tercih edin.
- Herhangi bir derlemayı kendi istemlerinizle test edin; Abliteration kararlılığı değiştirebilir.
- Yalnızca HTTP üzerinden cevaplara ihtiyacınız varsa, barındırılan bir uç nokta indirmeyi ve donanımı atlar.
Hızlı cevap kutusu: kontrol edilecek beş şey
- Temel model. Kart, oluşturulduğu orijinal modeli adlandırmalıdır. Adlandırmazsa, yüklemeyi şüpheyle karşılayın.
- Lisans. Düzenlenmiş bir model, temelinin lisansını miras alır. Bazı lisanslar ticari kullanımı kısıtlar veya atıf gerektirir.
- Dosya formatı. Safetensors ve GGUF güvenli, yaygın seçeneklerdir. Bilmediğiniz yazarlardan gelen pickle tabanlı
.binveya.ptdosyalarından kaçının, çünkü yüklenirken kod çalıştırabilirler. - Kantizasyon. Dosya adı bit genişliğini belirtir, örneğin Q4_K_M veya Q8_0. Daha düşük sayılar daha küçük dosyalar ve daha fazla kalite kaybı anlamına gelir.
- Kanıt. Örnek çıktılara, kullanılan yönteme ve topluluk tartışmalarına bakın.
Makalenin geri kalanı her noktayı açıklar, çünkü kart çoğu kötü indirmenin önlenebileceği yerdir.
Yalnızca iki dakikanız varsa, temel modeli ve dosya formatını kontrol edin, ardından topluluk sekmesindeki son on yorumu okuyun. Bu üç adım, insanların daha sonra şikayet ettiği sorunların çoğunu yakalar.
Model kartında abliterate edilmenin anlamı
Abliteration, bir isteği reddetmeyle ilişkili iç yönü, ağırlıkları doğrudan düzenleyerek kaldırır. İnce ayar yapmaktan daha ucuzdur ve yeni eğitim verisi gerektirmez. Kartlar genellikle kullanılan aracı veya betiği, etkilenen katmanları ve bir güç değerini listeler.
Bu önemlidir çünkü yöntem homojen değildir. Bazı yazarlar reddetme yönünü hafifçe kaldırır ve orijinal davranışın çoğunu korur. Diğerleri daha ileri gider, bu da bir modeli daha uyumlu ama aynı zamanda daha az tutarlı hale getirebilir. İyi bir kart ne yapıldığını söyler. Zayıf bir kart yalnızca "uncensored" der ve bir ekran görüntüsü gösterir.
Ayrıca yazarın temel modelin ince ayarını nasıl tanımladığını da kontrol edin. Sohbet için ince ayar yapılmış bir temel, sohbet formatında yanıt verecektir; ham bir temel model talimatları aynı şekilde izlemeyecektir ve düzenleme bunu düzeltmez.
Kartı yukarıdan aşağıya okumak
Üst bilgi ve etiketler
Sayfanın üst kısmı lisansı, kütüphane etiketini (örneğin transformers veya GGUF), parametre sayısını ve temel model bağlantısını gösterir. O bağlantıyı takip edin ve orijinal kartı da okuyun. Bağlam uzunluğunu, amaçlanan sohbet şablonunu ve bilinen herhangi bir tuhaflığı öğrenirsiniz.
Dosyalar ve sürümler
Dosya listesini açın. Her dosyanın boyutunu çalıştırabileceğiniz kapasiteyle karşılaştırın. 16-bit hassasiyetle bir 70B model, bir tüketici GPU'sunun çok ötesindedir, ancak Q4 GGUF formatı yeterli belleği olan bir iş istasyonunda sığabilir. Depo birçok kantizasyon içeriyorsa, belleğinize uyan birini seçin ve KV önbelleği için bir marj bırakın.
Sohbet şablonu
Her model ailesi belirli bir istem formatı bekler. Yanlış şablon kullanımı, garip, döngüsel veya boş çıktının en yaygın nedenidir ve bu durum haksız yere abliteration'a mal edilir. Ollama ve llama.cpp gibi çalışma zamanları şablonu dosya meta verilerinden okur, ancak var olduğundan emin olun.
Donanımınıza göre model boyutu
Hızlı bir tahmin: 4-bit kantizasyonda bir model, ağırlıklar için parametre başına yaklaşık yarım bayt gerektirir. 8B bir model yaklaşık 5 GB'a, 32B bir model yaklaşık 18 ila 20 GB'a ve bir 70B model KV önbelleğinden önce yaklaşık 40 GB'a denk gelir. Sayı GPU belleğinizden büyükse, yavaş, CPU destekli üretim veya bellek hatası bekleyin.
Topluluk sekmesi
Tartışmalar gerçek deneyimi gösterir: kırık tokenler, tekrar, eksik dosyalar veya belirli kantizasyonlarda kötü sonuçlar raporları. Tartışması ve indirmesi olmayan bir model kanıtlanmamıştır, her zaman kötü olduğu anlamına gelmez.
İndirme butonuna tıklamadan önce kaçınılması gereken tuzaklar
- Yürütülebilir dosyaları olan bilinmeyen yazarlar. Yalnızca güvendiğiniz formatları yükleyin. Safetensors yüklenirken kod çalıştıramaz; pickle dosyaları çalıştırabilir.
- Çelişkili iddialar. Bir kart uzun bağlamı olduğunu söylüyorsa ancak temel model daha az destekliyorsa, düzenleme bunu değiştirmedi.
- Yeniden yüklemeler. Birden fazla hesap aynı ağırlıkları kopyalar. Orijinal yazarı tercih edin ve dosya karma değerleri gösteriliyorsa karşılaştırın.
- Kantizasyon bilgisi yok. Bit genişliğini bilemiyorsanız, bellek kullanımını veya kaliteyi tahmin edemezsiniz.
- Sihir beklemek. Abliterate edilmiş bir modelin hala temelinin bilgisi ve sınırları vardır. Temelin bilmediği şeyleri bilemez ve hala hata üretebilir.
Bir alışkanlık daha yardımcı olur: test ettiğiniz tam depo adını, dosya adını ve commit'i kaydedin. Yazarlar dosyaları değiştirir, geçen hafta iyi davranan bir derleme bugün farklı bir dosya olabilir. Bir kayıt olmadan iyi bir sonucu yeniden oluşturamaz veya kötü birini açıklayamazsınız.
İçerikle ilgili kuralları aklınızda tutun. Reddetmeleri olmayan modeller yalnızca yasal yetişkin kullanımı içindir ve reşit olmayanlar içeren içerik, model nasıl düzenlenirse düzenlensin sınırdışıdır.
Ağırlıkları kendi kendine barındırmanın ne zaman mantıklı olduğu
Tam kontrol gerektiğinde ağırlıkları indirmek mantıklıdır. Tam bir derlemeyi sabitleyebilir, çevrimdışı çalışabilir, özel örnekleme veya adaptörler kullanabilir ve her istemi kendi donanımınızda tutabilirsiniz. Ayrıca bu modellerin nasıl davrandığını öğrenmenin doğru yoludur.
Bir öğrenme faydası da vardır. Bir modeli kendiniz çalıştırmak, bağlam uzunluğu, örnekleme ayarları ve nicemlemenin çıktıyı nasıl değiştirdiğini gösterir ve bu bilgi daha sonra kullandığınız herhangi bir API'ye taşınır.
Fiyat donanım ve zamandır. Yeterli GPU belleğine, llama.cpp, vLLM veya Ollama gibi bir çalışma zamanına ve her değişiklikten sonra test etme alışkanlığına ihtiyacınız vardır. Gece deneyimleyen bir kişi için bu uygundur. Birkaç kullanıcıya sahip bir uygulama için bu bir operasyon işi haline gelir: kuyruklama, yeniden başlatmalar, güncellemeler ve izleme.
Barındırılan bir modele istek göndermenin daha kolay olduğu zamanlar
Yalnızca bir uygulama içinde metin cevaplara ihtiyacınız varsa, barındırılan bir uç nokta indirmeyi, bellek planlamayı ve bakımı kaldırır. Bu hizmet, yasal yetişkin kullanımı için içerik reddetmeleri olmadan cevaplamak üzere ayarlanmış tek bir açık ağırlıklı modelle OpenAI uyumlu bir API'dir. Bir model satıcısının resmi API'si değildir ve yalnızca metindir.
Onu herhangi bir OpenAI tarzı API gibi çağırırsınız. Temel URL https://api.abliteratedapi.com/v1, model ID uncensored ve anahtar bir Authorization: Bearer başlığında yer alır:
curl https://api.abliteratedapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Write a tense opening line for a noir story."}],
"stream": false
}'
Bağlam penceresi 100.000 token'dır ve akış, araç çağırma ve JSON modu desteklenir. Fiyatlandırma 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir, abonelik yoktur. İstemler eğitim için kullanılmaz. Ayrıntılar dokümantasyonda ve fiyatlandırma sayfasında yer almaktadır.
Kredi kartı olmadan test edebilirsiniz: yeni kullanıcılar API anahtarı sayfası üzerinde tek tıkla $0,50 değerinde deneme kredisi talep eder, bu kredi 7 gün geçerlidir. İstek başına 1.000 girdi ve 500 çıktı token ile bir istek $0,0004 tutarındadır, bu nedenle $0,50 yaklaşık 1.250 isteği karşılar. Bu, indirdiğiniz bir modelle çıktıları karşılaştırmak için fazlasıyla yeterlidir.
Karar vermenin pratik bir yolu
Gerçek kullanımınızı yansıtan on istem yazın. Bunları Hugging Face'te bulduğunuz derleme ve barındırılan uç nokta üzerinden çalıştırın. Yanıt kalitesini, hızı ve her birini çalışır hale getirmek için harcadığınız süreyi not edin. Bir sohbet ön uç kullanıyorsanız, Open WebUI'yi OpenAI uyumlu bir API'ye bağlama sayfası, barındırılan uç noktanın yerel modellerinizin yanına nasıl ekleneceğini gösterir, böylece aynı arayüzde bunlar arasında geçiş yapabilirsiniz. Bu modellerin ne yapabileceği ve ne yapamayacağı hakkında genel bilgi için sansürsüz sohbet API efsaneleri ve gerçekler sayfasına bakın.
Daha fazla kılavuz
Sorular ve cevaplar
Hugging Face'den abliterate edilmiş modelleri indirmek güvenli mi?
Eğer köklü yazarlardan safetensors veya GGUF dosyaları seçip kartı okursanız güvenlidir. Bilinmeyen hesaplardan gelen pickle tabanlı dosyalardan kaçının, çünkü bunların yüklenmesi kod çalıştırabilir.
Abliteration bir modeli daha zeki yapar mı?
Hayır. Reddetme davranışını kaldırır ancak bilgi eklemez. Kalite, temel modele yakın kalır ve düzenleme güçlüyse biraz düşebilir.
Hangi nicemlemeyi seçmeliyim?
Q4 varyantları, boyut ve kalite arasında yaygın bir denge sağlar. KV önbelleği için yer bırakacak şekilde belleğinize sığacak en büyük olanı seçin.
İndirmek yerine barındırılan bir API mi kullanmalıyım?
Evet. Barındırılan OpenAI uyumlu bir uç nokta için yalnızca bir temel URL, bir anahtar ve bir model adı gerekir; yerel donanıma gerek yoktur.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum işte bu kadar.
API anahtarı al