ID ▾

Model Abliterated di Ollama vs API Terhost

Mencari model abliterated ollama biasanya berarti satu hal: Anda menginginkan model yang menjawab tanpa penolakan dan Anda menginginkannya di mesin Anda sendiri. Itu bisa dilakukan, dan artikel ini menunjukkan berapa biaya dalam hal memori, waktu, dan perawatan, lalu membandingkannya dengan endpoint yang kompatibel dengan OpenAI yang terhost.

Diperbarui

GPU lokal dan server cloud yang seimbang dalam skala, membandingkan pengaturan LLM lokal dan terhost
Antarmuka obrolan yang terhubung dengan kabel bercahaya ke server API yang di-host, mewakili koneksi Open WebUI

Poin utama

  • Ollama menjalankan bobot abliterated secara lokal dan mengekspos endpoint bergaya OpenAI di port 11434.
  • VRAM, bukan ruang disk, adalah batas pertama yang akan Anda temui; kuantisasi menukar kualitas dengan memori.
  • API terhost berharga $0,15 per 1M token input dan $0,50 per 1M token output, sehingga aplikasi kecil dapat menghabiskan $12,75 per bulan.
  • Kedua rute menggunakan format penyelesaian obrolan yang sama, sehingga beralih hanya memerlukan perubahan dua baris.

Apa arti abliterated dan bagaimana Ollama cocok

Abliteration adalah edit bobot. Peneliti menemukan arah dalam aktivasi model yang berkorelasi dengan penolakan permintaan, lalu menghapusnya dari bobot. Hasilnya adalah model yang cenderung menjawab daripada menolak. Ini bukan pelatihan ulang, sehingga model mempertahankan keterampilan umumnya, dan kualitas dapat berubah sedikit ke arah mana pun.

Ollama adalah runtime lokal. Anda menarik model, ia mengunduh bobot, dan melayaninya di http://localhost:11434. Server juga menawarkan rute yang kompatibel dengan OpenAI di bawah /v1, itulah sebabnya sebagian besar antarmuka obrolan dan SDK dapat berkomunikasi dengannya. Anggota komunitas menerbitkan build abliterated dari model terbuka populer, biasanya sebagai file GGUF yang dapat diimpor oleh Ollama.

Jadi, alur kerjanya sederhana: temukan build, tarik, arahkan klien Anda ke localhost. Bagian tersulit bukanlah perintahnya. Itu adalah perangkat keras dan perawatan yang menyertainya.

Menjalankan model abliterated secara lokal, langkah demi langkah

Pertama, instal Ollama dari situs resminya. Kemudian tarik build yang diterbitkan berdasarkan nama atau impor file GGUF yang Anda unduh sendiri.

  1. Tarik build yang diterbitkan dengan ollama pull some-user/some-abliterated-model (nama tersebut adalah contoh, cari yang Anda percayai).
  2. Atau impor file GGUF: tulis Modelfile dengan baris pertama FROM ./model.Q4_K_M.gguf, lalu jalankan ollama create my-abliterated -f Modelfile.
  3. Mulai obrolan di terminal dengan ollama run my-abliterated.

Untuk memanggilnya dari kode, gunakan klien OpenAI apa pun dengan URL dasar lokal. Kuncinya dapat berupa string non-kosong apa pun, karena Ollama tidak memeriksanya secara default.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

Jika ini berjalan, Anda memiliki pengaturan lokal yang berfungsi. Perhatikan bahwa klien kedua dalam cuplikan sudah mengarah ke endpoint terhost; sisa artikel ini menjelaskan kapan itu menjadi pilihan yang lebih baik. Apa yang pertama kali dijelaskan adalah bagian yang menentukan apakah lokal tetap berguna: memori, kecepatan, dan perawatan.

VRAM, kecepatan, dan pertukaran kuantisasi

Model harus muat dalam memori cepat untuk berjalan dengan kecepatan yang berguna. Aturan kasar: pada kuantisasi 4-bit, setiap parameter memakan sekitar setengah byte, sehingga model 8B membutuhkan sekitar 4 hingga 5 GB untuk bobot, dan model 70B membutuhkan sekitar 35 hingga 40 GB. Tambahkan ruang untuk cache KV, yang tumbuh dengan panjang konteks. Prompt panjang dapat memakan beberapa gigabyte tambahan.

Ketika model tidak muat dalam memori GPU, Ollama memindahkan lapisan ke RAM sistem dan CPU. Model masih menjawab, tetapi generasi melambat secara signifikan. Orang yang melihat 2 token per detik pada kartu 24 GB dengan model besar biasanya berada dalam situasi ini.

  • Model lebih kecil: muat dengan mudah, menjawab cepat, menulis kurang baik untuk adegan panjang dan bernuansa.
  • Kuantisasi bit lebih rendah: menghemat memori, mengorbankan koherensi. Q4 adalah titik tengah yang umum; Q2 dan Q3 sering menunjukkan kerusakan yang terlihat.
  • Konteks lebih pendek: menghemat memori cache. Banyak pengaturan lokal berjalan pada 8K atau 16K token untuk tetap cepat.

Abliteration menambahkan satu variabel lagi. Karena bobot diedit, build dapat sedikit kurang stabil daripada yang asli, dengan lebih banyak mengembara atau pengulangan aneh. Uji build apa pun pada prompt Anda sendiri sebelum Anda bergantung padanya.

Perawatan yang tidak tercantum dalam tutorial

Lokal gratis per token, tetapi tidak gratis dari pekerjaan. Bersiaplah untuk menghabiskan waktu untuk hal-hal berikut:

  • Memilih build. Banyak unggahan abliterated ada, dengan model dasar, metode, dan kuantisasi yang berbeda. Membaca kartu, memeriksa lisensi, dan menguji output adalah tugas Anda.
  • Pembaruan. Model dasar baru muncul, runtime mengubah default, dan build yang berfungsi dapat berperilaku berbeda setelah peningkatan Ollama.
  • Konkurensi. Satu GPU melayani satu atau dua permintaan dengan baik. Jika tiga pengguna mengobrol sekaligus, mereka mengantri.
  • Ketersediaan. Aplikasi hanya aktif saat mesin Anda aktif. Laptop yang tidur membuat bot Anda offline.
  • Keamanan di sekitar output. Model tanpa penolakan memerlukan aturan Anda sendiri tentang siapa yang dapat mengaksesnya. Jaga agar digunakan untuk penggunaan dewasa yang sah, dan jangan biarkan dekat dengan apa pun yang melibatkan anak di bawah umur.

Satu biaya lagi adalah perhatian. Ketika balasan terlihat salah, Anda harus mencari tahu apakah prompt, kuantisasi, template, atau build yang menjadi kesalahan. Dengan endpoint terhost, Anda masih men-debug prompt, tetapi file model dan runtime bukan masalah Anda. Simpan log singkat tentang build, kuantisasi, dan pengaturan mana yang menghasilkan hasil bagus, karena Anda akan melupakannya dalam sebulan.

Ini bukan alasan untuk menghindari lokal. Jika Anda memiliki GPU yang bagus dan menikmati penyetelan, itu adalah hobi yang bagus dan memberikan privasi penuh. Pertanyaannya adalah apakah itu rute termurah untuk aplikasi yang digunakan orang lain.

Alternatif terhost dan perkiraan biaya bulanan

Opsi terhost adalah endpoint yang kompatibel dengan OpenAI yang melayani satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Anda mengirim permintaan ke POST /v1/chat/completions dengan model uncensored. Ini hanya teks, dengan jendela konteks 100.000 token, streaming, dan panggilan alat. Ini bukan API resmi dari vendor model mana pun. Lihat dokumentasi API untuk daftar metode lengkap.

Harga adalah $0,15 per 1 juta token input dan $0,50 per 1 juta token output, dari saldo prabayar tanpa langganan. Permintaan yang gagal atau ditolak tidak dikenakan biaya, dan saldo tidak kadaluarsa. Berikut adalah gambaran untuk aplikasi obrolan kecil dengan 1.000 permintaan sehari, rata-rata 1.500 token input dan 400 token output:

ItemToken per hariTarifBiaya per hari
Input1.000 x 1.500 = 1,5M$0,15 per 1M$0,225
Output1.000 x 400 = 0,4M$0,50 per 1M$0,20
Total$0,425

Selama 30 hari itu adalah $12,75. Bandingkan dengan listrik, bagian perangkat keras, dan jam kerja Anda untuk mesin lokal. Jika Anda sudah memiliki GPU, mesin lokal masih menang dalam hal uang tunai; jika Anda perlu membeli atau menyewanya, periksa kutipan sewa saat ini terhadap angka ini. Halaman harga mencantumkan isi ulang, yang dimulai dari $20 dan menambahkan bonus dari $50.

Memanggil endpoint terhost dengan klien yang sama

Karena Ollama dan API terhost sama-sama menggunakan format penyelesaian obrolan, kode yang Anda tulis di atas hampir tidak berubah. Ganti URL dasar, kunci, dan nama model:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

Pola praktis adalah menyimpan keduanya. Kembangkan terhadap Ollama lokal saat Anda offline atau menguji prompt, dan kirimkan lalu lintas produksi ke endpoint terhost. Baca URL dasar dari variabel lingkungan dan tidak ada lagi yang perlu diketahui aplikasi Anda.

Akun baru dapat mengklaim $0,50 kredit uji coba gratis dengan satu klik di halaman kunci API, berlaku selama 7 hari dan tanpa kartu kredit. Perhatikan batasnya: kunci uji coba memungkinkan 2 permintaan konkuren dan 60 permintaan per menit, sedangkan kunci penuh memungkinkan 8 dan 300. Artikel tentang batas laju API menjelaskan cara menangani respons 429.

Cara memilih

Pilih Ollama lokal ketika Anda sudah memiliki GPU dengan memori yang cukup, Anda ingin data tetap di mesin Anda, Anda mentolerir generasi yang lebih lambat pada model besar, atau proyeknya bersifat pribadi. Pilih endpoint terhost ketika orang lain menggunakan aplikasi, Anda membutuhkan beberapa permintaan sekaligus, Anda menginginkan konteks 100K tanpa membeli memori untuknya, atau Anda tidak ingin mempertahankan file model.

Tes sederhana: hitung jam yang Anda habiskan untuk pengaturan bulan ini dan berikan harga pada mereka. Untuk hobi, angka itu adalah nol karena Anda menikmatinya. Untuk produk dengan pengguna, itu adalah uang sungguhan, dan tagihan bayar-per-token beberapa dolar mungkin lebih kecil. Pertimbangkan juga kasus kegagalan. Jika mesin rumah Anda reboot pada malam hari, endpoint terhost tetap menjawab; server lokal tidak.

Keduanya tidak eksklusif, dan mencoba uji coba terhost tidak memakan biaya. Jalankan sepuluh prompt yang sama melalui keduanya dan bandingkan jawaban dan waktu yang Anda habiskan.

Tanya jawab

Dapatkah Ollama menjalankan model abliterated?

Ya. Ollama dapat menarik build yang diterbitkan atau mengimpor file GGUF yang Anda unduh. Setelah dimuat, model dilayani secara lokal dengan rute yang kompatibel dengan OpenAI di bawah /v1.

Berapa VRAM yang Anda butuhkan?

Pada kuantisasi 4-bit, hitung sekitar setengah byte per parameter ditambah cache KV. Model 8B muat dalam sekitar 5 hingga 6 GB dengan konteks yang wajar, sedangkan model 70B membutuhkan lebih dari 35 GB.

Apakah model abliterated sama dengan model asli?

Tidak. Perilaku penolakan telah dihapus dari bobot, dan kualitas atau stabilitas dapat berubah sedikit. Uji build pada prompt Anda sendiri.

Apakah API yang di-hosting kompatibel dengan klien yang kompatibel dengan Ollama?

Klien apa pun yang memungkinkan Anda mengatur Base URL dan kunci API OpenAI dapat digunakan. Gunakan Base URL https://api.abliteratedapi.com/v1 dan model uncensored.

Kunci Anda hanya membutuhkan satu formulir lagi

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API