TR ▾

Abliterate edilmiş Modeller Ollama'da vs Barındırılan API

abliterate edilmiş modeller ollama araması genellikle bir şeyi ifade eder: reddetmeler olmadan yanıt veren ve kendi makinenizde olan bir model istiyorsunuz. Bu işe yarar ve bu makale bellek, zaman ve bakım açısından ne kadar maliyetli olduğunu gösterir, ardından bunu barındırılan bir OpenAI uyumlu uç nokta ile karşılaştırır.

Güncellendi

Yerel GPU ve bulut sunucusu bir terazi üzerinde dengelenmiş; yerel ve barındırılan LLM kurulumları karşılaştırılıyor
Barındırılan bir API sunucusuna parlayan bir kablo ile bağlantılı sohbet arayüzü, bir Open WebUI bağlantısını temsil eder

Temel noktalar

  • Ollama abliterate edilmiş ağırlıkları yerel olarak çalıştırır ve 11434 portunda OpenAI tarzı bir uç nokta sunar.
  • VRAM, disk alanından ziyade, ulaşacağınız ilk sınırdır; nicelleme kaliteyi bellek için takas eder.
  • Barındırılan API, 1M giriş token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50'a mal olur, bu nedenle küçük bir uygulamanın aylık maliyeti $12,75 olabilir.
  • Her iki yol da aynı sohbet tamamlama formatını kullandığından, geçiş iki satırlık bir değişikliktir.

Abliterate edilmiş ne anlama gelir ve Ollama nasıl uyar

Abliteration bir ağırlık düzenlemesidir. Araştırmacılar, bir modelin istekleri reddetmeyle korelasyon gösteren aktivasyon yönünü bulur ve bunu ağırlıklardan çıkarır. Sonuç, reddetmek yerine yanıt vermeye eğilimli bir modeldir. Yeniden eğitme olmadığı için model genel becerilerini korur ve kalite her iki yönde de hafifçe değişebilir.

Ollama yerel bir çalışma zamanıdır. Bir model çeker, ağırlıkları indirir ve onları http://localhost:11434 üzerinde sunar. Sunucu ayrıca /v1 altında OpenAI uyumlu bir rota da sunar; bu nedenle çoğu sohbet ön uçları ve SDK'ları ona konuşabilir. Topluluk üyeleri, popüler açık modellerin abliterate edilmiş yapılarını genellikle Ollama'nın içe aktarabileceği GGUF dosyaları olarak yayımlar.

Bu nedenle hat basit: bir yapı bulun, çekin, istemcinizi localhost'a yönlendirin. Zor kısım komutlar değil. Donanım ve sonrasındaki bakımdır.

Abliterate edilmiş bir modeli yerel olarak adım adım çalıştırma

Önce resmi sitesinden Ollama'yı yükleyin. Ardından ya yayımlanmış bir yapıyı adıyla çekin ya da kendiniz indirdiğiniz bir GGUF dosyasını içe aktarın.

  1. Yayımlanmış bir yapıyı ollama pull some-user/some-abliterated-model ile çekin (isim bir örnektir, güvendiğiniz birini arayın).
  2. Veya bir GGUF dosyasını içe aktarın: ilk satırı FROM ./model.Q4_K_M.gguf olan bir Modelfile yazın, ardından ollama create my-abliterated -f Modelfile çalıştırın.
  3. Terminalde ollama run my-abliterated ile bir sohbet başlatın.

Koddan çağırmak için yerel base URL ile herhangi bir OpenAI istemcisini kullanın. Anahtar varsayılan olarak Ollama kontrol etmediğinden herhangi bir boş olmayan dize olabilir.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

Bu çalışırsa, yerel kurulumunuz çalışıyor demektir. Bu kod parçasındaki ikinci istemci zaten barındırılan uç noktaya işaret etmektedir; bu makalenin geri kalanı bunun ne zaman daha iyi bir seçenek olacağını açıklar. Öncelikle yerelin kullanılıp kullanılmayacağını belirleyen kısım gelir: bellek, hız ve bakım.

VRAM, hız ve nicelleme ödünleşimi

Bir modelin yararlı bir hızda çalışabilmesi için hızlı belleğe sığması gerekir. Kabaca bir kural: 4-bit nicellemede her parametre yaklaşık yarım bayt yer kaplar; bu nedenle 8B'lik bir model için ağırlıklar yaklaşık 4 ila 5 GB yer kaplar ve 70B'lik bir model için yaklaşık 35 ila 40 GB gerekir. KV önbelleği için bağlam penceresi uzunluğu ile birlikte artan yer bırakın. Uzun istemler birkaç ek gigabyte bellek gerektirebilir.

Model GPU belleğine sığmadığında, Ollama katmanları sistem RAM'ine ve CPU'ya döker. Hala yanıt verir, ancak üretim çok yavaşlar. Büyük bir modelle 24 GB'lık bir kartta saniyede 2 token gören insanlar genellikle bu durumdadır.

  • Daha küçük model: kolayca sığar, hızlı yanıt verir, uzun ve nüanslı sahnelerde daha az iyi yazar.
  • Düşük bitli nicelleme: bellek tasarrufu sağlar, bazı tutarlılık maliyeti vardır. Q4 yaygın bir orta noktadır; Q2 ve Q3 genellikle görünür hasar gösterir.
  • Kısa bağlam: önbellek bellek tasarrufu sağlar. Yerel kurulumların çoğu hızlı kalmak için 8K veya 16K token ile çalışır.

Abliterasyon bir değişken daha ekler. Ağırlıklar düzenlendiği için, bir yapı orijinaline göre biraz daha az kararlı olabilir ve daha fazla dolaşma veya tuhaf tekrarlar içerebilir. Ona güvenmeden önce kendi istemlerinizde herhangi bir yapıyı test edin.

Öğreticilerde listelenmeyen bakım

Yerel token başına ücretsizdir, ancak işsiz değildir. Bunlar için zaman harcamayı bekleyin:

  • Yapı seçimi. Farklı temel modeller, yöntemler ve nicemlemeler içeren birçok abliterate edilmiş yükleme mevcuttur. Kartı okumak, lisansı kontrol etmek ve çıktıları test etmek sizin işinizdir.
  • Güncellemeler. Yeni temel modeller ortaya çıkar, çalışma zamanları varsayılanları değiştirir ve çalışan bir yapı bir Ollama yükseltmesinden sonra farklı davranabilir.
  • Eşzamanlı istekler. Bir GPU bir veya iki isteği iyi işler. Üç kullanıcı aynı anda sohbet ederse, kuyruğa girerler.
  • Kullanılabilirlik. Uygulama, makineniz çalıştığı sürece açıktır. Uyuyan bir dizüstü bilgisayar botunuzu çevrimdışı bırakır.
  • Çıktı etrafında güvenlik. Reddetmeleri olmayan bir model, kimin ona ulaşabileceği konusunda kendi kurallarınıza ihtiyaç duyar. Yasal yetişkin kullanımı için saklayın ve reşit olmayanlarla ilgili herhangi bir şeye yaklaştırmayın.

Bir maliyet daha dikkat gerektirir. Bir yanıt yanlış görünürse, istemin, nicelleme, şablonun mu yoksa yapının mı sorumlu olduğunu hata ayıklamanız gerekir. Barındırılan bir uç nokta ile hala istemleri hata ayıklarsınız, ancak model dosyası ve çalışma zamanı sizin sorununuz değildir. Hangi yapı, nicelleme ve ayarların iyi sonuçlar ürettiğinin kısa bir kaydını tutun, çünkü bir ay içinde unutacaksınız.

Bunların hiçbiri yereli kullanmamak için bir neden değildir. İyi bir GPU'ya sahipseniz ve ince ayar yapmaktan hoşlanıyorsanız, bu harika bir hobidir ve tam gizlilik sağlar. Soru, başkalarının kullandığı bir uygulama için en ucuz yol olup olmadığıdır.

Barındırılan alternatif ve aylık maliyet taslağı

Barındırılan seçenek, yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıtlamak üzere ayarlanmış bir açık ağırlıklı modeli sunan OpenAI uyumlu bir uç noktadır. İstekleri POST /v1/chat/completions ile uncensored modeli gönderirsiniz. Sadece metin içerir, 100.000 token bağlam penceresi, akış ve fonksiyon çağırma desteği sunar. Herhangi bir model tedarikçisinin resmi bir API'si değildir. Tam yöntem listesi için API belgeleri sayfasına bakın.

Fiyatlandırma, ön ödemeli krediden, abonelik olmadan, 1M giriş token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50'dir. Başarısız veya reddedilen istemler için ücret alınmaz ve kredi süresi dolmaz. Günde 1.000 istek, ortalama 1.500 giriş token'ı ve 400 çıktı token'ı ile küçük bir sohbet uygulaması için bir taslak:

ÖğeGünlük token'larOranGünlük maliyet
Girdi1.000 x 1.500 = 1,5M1M başına $0,15$0,225
Çıktı1.000 x 400 = 0,4M1M başına $0,50$0,20
Toplam$0,425

30 gün içinde bu tutar $12,75 eder. Bunu elektrik, donanım payı ve yerel bir makine için harcadığınız kendi saatlerinizle karşılaştırın. GPU'ya zaten sahipseniz, yerel çözüm nakit açısından yine de kazanır; bir tane satın almanız veya kiralamanız gerekirse, bu sayıyı mevcut kiralama teklifleriyle karşılaştırın. Fiyatlandırma sayfası bakiye yükleme seçeneklerini listeler; bunlar $20'dan başlar ve $50'den başlayan bir bonus ekler.

Aynı istemci ile barındırılan uç noktayı çağırma

Ollama ve barındırılan API sohbet tamamlama formatını konuştuğu için, yukarıda yazdığınız kod çok az değişir. Base URL'yi, anahtarı ve model adını değiştirin:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

Pratik bir kalıp, ikisini de tutmaktır. İstemleri test ederken veya çevrimdışıyken yerel Ollama'ya karşı geliştirin ve üretim trafiğini barındırılan uç noktaya gönderin. Base URL'yi bir ortam değişkeninden okuyun ve uygulamanızdaki başka hiçbir şeyin bilmesi gerekmez.

Yeni hesaplar, API anahtarı sayfası üzerinde tek tıkla 7 gün geçerli ve kredi kartı olmadan $0,50 deneme kredisi talep edebilir. Sınırlamalara dikkat edin: bir deneme anahtarı 2 eşzamanlı istek ve dakikada 60 istek izin verir; tam anahtar 8 ve 300 izin verir. API hız sınırları makalesi 429 yanıtlarının nasıl ele alınacağını açıklar.

Nasıl seçilir

Zaten yeterli belleğe sahip bir GPU'nuz varsa, verilerin makinenizde kalmasını istiyorsanız, büyük modellerde daha yavaş üretimi tolere ediyorsanız veya proje kişisel ise yerel Ollama'yı seçin. Başkalarının uygulamayı kullandığı, aynı anda birkaç istek gerektiği, 100K bağlamı satın almak istemediğiniz veya model dosyalarını sürdürmek istemediğiniz takdirde barındırılan uç noktayı seçin.

Basit bir test: Bu ay kurulum için harcadığınız saatleri sayın ve onlara bir fiyat verin. Bir hobi için bu sayı sıfırdır çünkü keyif alıyorsunuz. Kullanıcıları olan bir ürün için bu gerçek paradır ve birkaç dolarlık token başına fatura daha küçük olabilir. Başarısızlık durumunu da düşünün. Ev makineniz gece yeniden başlatılırsa, barındırılan bir uç nokta yanıtlamaya devam eder; yerel bir sunucu yapmaz.

İkisi de birbirini dışlamaz ve barındırılan denemeyi denemek hiçbir maliyet gerektirmez. Aynı on istemi her ikisine de çalıştırın ve yanıtları ve harcadığınız zamanı karşılaştırın.

Sorular ve cevaplar

Ollama abliterate edilmiş modelleri çalıştırabilir mi?

Evet. Ollama, yayımlanmış yapıları çekebilir veya indirdiğiniz GGUF dosyalarını içe aktarabilir. Yüklendikten sonra model, /v1 altındaki OpenAI uyumlu bir uç nokta ile yerel olarak sunulur.

Ne kadar VRAM'e ihtiyacım var?

4-bit quantizasyon ile parametre başına yaklaşık yarım bayt artı KV önbelleği sayın. 8B boyutundaki bir model, sınırlı bağlam penceresi ile yaklaşık 5 ila 6 GB alan kaplar; 70B boyutundaki bir model ise 35 GB'ın oldukça üzerinde alan gerektirir.

Abliterate edilmiş bir model, orijinal modelle aynı mıdır?

Hayır. Reddetme davranışı ağırlıklardan çıkarılmıştır ve kalite ile kararlılık hafifçe değişebilir. Kendi istemlerinizle bir yapıyı test edin.

Barındırılan API, Ollama uyumlu istemcilerle çalışır mı?

OpenAI base URL ve anahtarını ayarlamanıza olanak tanıyan herhangi bir istemci çalışır. https://api.abliteratedapi.com/v1 base URL'sini ve uncensored modelini kullanın.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al