PL ▾

Modele abliterowane w Ollama vs API hostowane

Wyszukiwanie modeli abliterowanych ollama zwykle oznacza jedno: chcesz modelu, który odpowiada bez odmów, i chcesz go na własnej maszynie. To działa, a ten artykuł pokazuje, ile to kosztuje pod kątem pamięci, czasu i utrzymania, a następnie porównuje to z endpointem kompatybilnym z OpenAI.

Zaktualizowano

Lokalna karta GPU i serwer chmurowy zbalansowane na szali, porównanie lokalnych i hostowanych konfiguracji LLM
Interfejs czatu połączony świecącym kablem z serwerem hostowanego API, reprezentujący połączenie Open WebUI

Kluczowe punkty

  • Ollama uruchamia wagi abliterowane lokalnie i udostępnia endpoint w stylu OpenAI na porcie 11434.
  • VRAM, a nie przestrzeń dyskowa, to pierwsze ograniczenie, jakie napotkasz; kwantyzacja zamienia jakość na pamięć.
  • Hostowane API kosztuje $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, więc mała aplikacja może kosztować $12,75 miesięcznie.
  • Obie ścieżki używają tego samego formatu ukończeń czatu, więc przełączenie to zmiana dwóch linii.

Co to są modele abliterowane i jak pasuje do tego Ollama

Abliteracja to edycja wag. Badacze znajdują kierunek w aktywacjach modelu, który koreluje z odmową żądania, a następnie usuwają go z wag. Rezultatem jest model, który ma tendencję do odpowiadania zamiast odmawiania. Nie jest to ponowne szkolenie, więc model zachowuje swoje ogólne umiejętności, a jakość może się nieznacznie zmienić w dowolnym kierunku.

Ollama to lokalne środowisko uruchomieniowe. Pobierasz model, pobiera on wagi i udostępnia je pod http://localhost:11434. Serwer oferuje również ścieżkę kompatybilną z OpenAI pod /v1, dzięki czemu większość interfejsów czatu i SDK może się z nim komunikować. Członkowie społeczności publikują kompilacje abliterowane popularnych modeli open-source, zwykle jako pliki GGUF, które Ollama może zaimportować.

Pipeline jest więc prosty: znajdź kompilację, pobierz ją, wskaż klientowi localhost. Najtrudniejsza część to nie komendy. To sprzęt i utrzymanie, które nadchodzą po uruchomieniu.

Uruchamianie modelu abliterowanego lokalnie, krok po kroku

Najpierw zainstaluj Ollamę ze strony oficjalnej. Następnie albo pobierz opublikowaną kompilację po nazwie, albo zaimportuj plik GGUF, który pobrałeś samodzielnie.

  1. Pobierz opublikowaną kompilację za pomocą ollama pull some-user/some-abliterated-model (nazwa jest przykładowa, wyszukaj tej, której ufasz).
  2. Lub zaimportuj plik GGUF: napisz Modelfile, którego pierwsza linia to FROM ./model.Q4_K_M.gguf, następnie uruchom ollama create my-abliterated -f Modelfile.
  3. Rozpocznij czat w terminalu za pomocą ollama run my-abliterated.

Aby go wywołać z kodu, użyj dowolnego klienta OpenAI z bazowym URL. Kluczem może być dowolny niepusty ciąg, ponieważ Ollama domyślnie go nie sprawdza.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

Jeśli to działa, masz działającą konfigurację lokalną. Zauważ, że drugi klient w fragmencie wskazuje już na endpoint hostowany; reszta tego artykułu wyjaśnia, kiedy jest to lepszy wybór. Co następuje, to część, która decyduje, czy lokalne rozwiązanie pozostaje użyteczne: pamięć, prędkość i utrzymanie.

VRAM, prędkość i kompromis kwantyzacji

Model musi zmieścić się w szybkiej pamięci, aby działać z użyteczną prędkością. Przybliżona zasada: przy kwantyzacji 4-bitowej każdy parametr zajmuje około pół bajta, więc model 8B potrzebuje około 4–5 GB na wagi, a model 70B potrzebuje około 35–40 GB. Dodaj miejsce na pamięć podręczną KV, która rośnie wraz z długością kontekstu. Długie prompty mogą kosztować kilka dodatkowych gigabajtów.

Gdy model nie mieści się w pamięci GPU, Ollama przesuwa warstwy do pamięci RAM systemu i CPU. Nadal odpowiada, ale generowanie znacznie zwalnia. Ludzie, którzy widzą 2 tokeny na sekundę na karcie 24 GB z dużym modelem, są zwykle w tej sytuacji.

  • Mniejszy model: mieści się łatwo, odpowiada szybko, ale gorzej pisze długie, zniuansowane sceny.
  • Kwantyzacja niższego bitu: oszczędza pamięć, kosztem pewnej spójności. Q4 jest powszechnym punktem środkowym; Q2 i Q3 często pokazują widoczne uszkodzenia.
  • Krótszy kontekst: oszczędza pamięć podręczną. Wiele lokalnych konfiguracji działa przy 8K lub 16K tokenach, aby pozostać szybkim.

Abliteration dodaje jedną zmienną. Ponieważ wagi są edytowane, kompilacja może być nieco mniej stabilna niż oryginał, z większą tendencją do rozbiegania się wątku lub dziwnymi powtórzeniami. Przetestuj każdą kompilację na własnych promptach, zanim na niej zbudujesz.

Utrzymanie, którego nikt nie wymienia w samouczku

Lokalnie jest darmowe za token, ale nie jest darmowe z punktu widzenia pracy. Spodziewaj się poświęcić czas na te rzeczy:

  • Wybór kompilacji. Istnieje wiele uploadów abliterowanych, z różnymi modelami bazowymi, metodami i kwantyzacjami. Przeczytanie karty, sprawdzenie licencji i przetestowanie wyników to Twój obowiązek.
  • Aktualizacje. Pojawiają się nowe modele bazowe, środowiska uruchomieniowe zmieniają domyślne ustawienia, a kompilacja, która działała, może zachowywać się inaczej po aktualizacji Ollamy.
  • Współbieżność. Jedna karta GPU obsługuje dobrze jedno lub dwa zapytania. Jeśli trzej użytkownicy czatują jednocześnie, tworzą kolejkę.
  • Dostępność. Aplikacja działa tylko, gdy działa Twoja maszyna. Laptop w trybie uśpienia wyłącza Twojego bota.
  • Bezpieczeństwo wyjść. Model bez odrzuceń wymaga Twoich własnych zasad dotyczących tego, kto może do niego dotrzeć. Trzymaj go dla prawnego użytku osób dorosłych i nigdy nie pozwalaj mu być blisko czegokolwiek, co dotyczy nieletnich.

Kolejny koszt to uwaga. Gdy odpowiedź wygląda źle, musisz ustalić, czy winny jest prompt, kwantyzacja, szablon czy kompilacja. Przy hostowanym endpointzie nadal debugujesz prompty, ale plik modelu i środowisko wykonawcze nie są Twoim problemem. Zapisz krótki log tego, która kompilacja, kwantyzacja i ustawienia dały dobre wyniki, bo zapomnisz o tym w ciągu miesiąca.

Żadna z tych rzeczy nie jest powodem do unikania lokalnego rozwiązania. Jeśli posiadasz dobrą kartę GPU i lubisz strojenie, to świetne hobby i daje pełną prywatność. Pytanie brzmi, czy jest to najtańsza ścieżka dla aplikacji, z której korzystają inni.

Alternatywa hostowana i szacunkowy koszt miesięczny

Opcja zdalna to kompatybilny z OpenAI endpoint obsługujący jeden model o otwartych wagach dostrojony do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłych. Wysyłasz zapytania do POST /v1/chat/completions z modelem uncensored. To tylko tekst, z oknem kontekstu 100 000 tokenów, strumieniowaniem i wywoływaniem funkcji. To nie jest oficjalne API żadnego dostawcy modelu. Zobacz dokumentację API, aby uzyskać pełną listę metod.

Cennik to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, z przedpłaconego kredytu bez subskrypcji. Nieudane lub odrzucone żądania nie są rozliczane, a kredyt nie wygasa. Oto szkic dla małej aplikacji czatu z 1000 żądaniami dziennie, średnio 1500 tokenów wejściowych i 400 tokenów wyjściowych:

PozycjaTokeny dziennieStawkaKoszt dzienny
Wejście1 000 x 1 500 = 1,5M$0,15 za 1M$0 225
Wyjście1000 x 400 = 0,4M$0,50 za 1M$0,20
Razem$0,425

Przez 30 dni to $12,75. Porównaj to z prądem, udziałem w sprzęcie i Twoimi godzinami dla lokalnego komputera. Jeśli już posiadasz kartę GPU, lokalnie nadal wygrywa pod względem gotówki; jeśli musiałbyś kupić lub wypożyczyć kartę, sprawdź aktualne wyceny wynajmu w porównaniu z tą liczbą. Strona cennika wymienia doładowania, które zaczynają się od $20 i dodają bonus od $50.

Wywoływanie endpointu hostowanego tym samym klientem

Ponieważ Ollama i API hostowane używają tego samego formatu ukończeń czatu, kod, który napisałeś powyżej, zmienia się nieznacznie. Zamień bazowy URL, klucz i nazwę modelu:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

Praktycznym wzorcem jest utrzymanie obu. Rozwijaj lokalnie na Ollama, gdy jesteś offline lub testujesz prompty, a ruch produkcyjny wysyłaj na endpoint hostowany. Odczytuj bazowy URL ze zmiennej środowiskowej i nic innego w Twojej aplikacji nie musi o tym wiedzieć.

Nowe konta mogą odebrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API, ważnym przez 7 dni i bez karty płatniczej. Zwróć uwagę na limity: klucz próbny pozwala na 2 równoległe zapytania i 60 zapytań na minutę, podczas gdy pełny klucz pozwala na 8 i 300. Artykuł na limitach zapytań API wyjaśnia, jak obsługiwać odpowiedzi 429.

Jak wybrać

Wybierz lokalną Ollamę, gdy już masz kartę GPU z wystarczającą pamięcią, chcesz, aby dane pozostały na Twojej maszynie, tolerujesz wolniejsze generowanie na dużych modelach lub projekt jest osobisty. Wybierz endpoint hostowany, gdy z aplikacji korzystają inni, potrzebujesz kilku zapytań jednocześnie, chcesz okna kontekstu 100K bez kupowania pamięci do tego lub nie chcesz utrzymywać plików modeli.

Prosty test: policz godziny, które poświęciłeś na konfigurację w tym miesiącu i nadaj im cenę. Dla hobby ta liczba wynosi zero, ponieważ lubisz to robić. Dla produktu z użytkownikami jest to prawdziwe pieniądze, a rachunek za tokeny za kilka dolarów może być mniejszy. Rozważ również scenariusz awarii. Jeśli Twój komputer domowy restartuje się w nocy, endpoint hostowany nadal odpowiada; lokalny serwer nie.

Te dwa rozwiązania nie są wykluczające się, a wypróbowanie próby hostowanej nie kosztuje nic. Uruchom te same dziesięć promptów przez oba i porównaj odpowiedzi i czas, który poświęciłeś.

Pytania i odpowiedzi

Czy Ollama uruchomi modele abliterowane?

Tak. Ollama może ściągnąć opublikowane kompilacje lub zaimportować pliki GGUF, które pobierzesz. Po załadowaniu model jest serwowany lokalnie z trasą kompatybilną z OpenAI pod /v1.

Ile VRAMu potrzebuję?

Przy kwantyzacji 4-bitowej policz około pół bajta na parametr plus pamięć podręczną KV. Model 8B mieści się w około 5–6 GB przy umiarkowanym kontekście, podczas gdy model 70B wymaga znacznie ponad 35 GB.

Czy model abliterowany jest taki sam jak oryginał?

Nie. Zachowanie odmowy jest edytowane z wag, a jakość lub stabilność mogą nieznacznie się przesunąć. Przetestuj kompilację na własnych promptach.

Czy API w chmurze działa z klientami kompatybilnymi z Ollama?

Działa każdy klient, który pozwala Ci ustawić bazowy URL OpenAI i klucz. Użyj bazowego URL https://api.abliteratedapi.com/v1 i modelu uncensored.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API