Abliterateerde modellen op Ollama versus een gehoste API
Zoeken naar abliterateerde modellen ollama betekent meestal één ding: je wilt een model dat zonder weigeringen antwoordt en je wilt het op je eigen machine. Dat kan, en dit artikel laat zien wat het kost in geheugen, tijd en onderhoud, en vergelijkt het met een gehost OpenAI-compatibel endpoint.
Bijgewerkt


Belangrijkste punten
- Ollama draait abliterateerde gewichten lokaal en exposeert een OpenAI-stijl endpoint op poort 11434.
- VRAM, niet schijfruimte, is de eerste limiet die je zult tegenkomen; kwantisatie is een afweging tussen kwaliteit en geheugen.
- Een gehoste API kost $0,15 per 1M input tokens en $0,50 per 1M output tokens, dus een kleine app kan $12,75 per maand kosten.
- Beide routes gebruiken hetzelfde chat-completiesformaat, dus schakelen is een wijziging van twee regels.
Wat abliteratie betekent en hoe Ollama past
Abliteration is een gewichtaanpassing. Onderzoekers vinden de richting in de activaties van een model die correleert met het weigeren van een verzoek, en verwijderen deze uit de gewichten. Het resultaat is een model dat eerder antwoordt dan weigert. Het is geen hertrainen, dus het model behoudt zijn algemene vaardigheden en de kwaliteit kan licht in beide richtingen verschuiven.
Ollama is een lokale runtime. Je haalt een model op, het downloadt de gewichten en serveert ze op http://localhost:11434. De server biedt ook een OpenAI-compatibele route aan onder /v1, waardoor de meeste chatfrontends en SDK's ermee kunnen communiceren. Gemeenschapsleden publiceren abliterateerde builds van populaire open modellen, meestal als GGUF-bestanden die Ollama kan importeren.
Dus de pipeline is eenvoudig: vind een build, haal hem op, wijs je client aan op localhost. Het moeilijke deel zijn niet de commando's. Het is de hardware en het onderhoud dat daarop volgt.
Een abliterateerd model lokaal draaien, stap voor stap
Installeer eerst Ollama vanaf de officiële site. Haal vervolgens een gepubliceerde build op bij naam of importeer een GGUF-bestand dat je zelf hebt gedownload.
- Haal een gepubliceerde build op met
ollama pull some-user/some-abliterated-model(de naam is een voorbeeld, zoek er een die je vertrouwt). - Of importeer een GGUF-bestand: schrijf een Modelfile waarvan de eerste regel
FROM ./model.Q4_K_M.ggufis, en voer vervolgensollama create my-abliterated -f Modelfileuit. - Start een chat in de terminal met
ollama run my-abliterated.
Om het vanuit code aan te roepen, gebruik je een OpenAI-client met de lokale basis-URL. De sleutel kan elke niet-lege string zijn, omdat Ollama deze standaard niet controleert.
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
Als dit draait, heb je een werkende lokale setup. Merk op dat de tweede client in de snippet al wijst naar het gehoste endpoint; de rest van dit artikel legt uit wanneer dat de betere keuze is. Wat volgt eerst is het deel dat bepaalt of lokaal nuttig blijft: geheugen, snelheid en onderhoud.
VRAM, snelheid en de kwantisatieafweging
Een model moet in snel geheugen passen om met een bruikbare snelheid te draaien. Een ruwe vuistregel: bij 4-bit kwantisatie kost elke parameter ongeveer een halve byte, dus een 8B-model heeft ongeveer 4 tot 5 GB nodig voor gewichten, en een 70B-model heeft ongeveer 35 tot 40 GB nodig. Tel hier ruimte voor de KV-cache bij op, die groeit met de contextlengte. Lange prompts kunnen meerdere extra gigabytes kosten.
Wanneer het model niet in GPU-geheugen past, spoelt Ollama lagen door naar systeem-RAM en de CPU. Het antwoordt nog steeds, maar de generatie vertraagt aanzienlijk. Mensen die 2 tokens per seconde zien op een 24 GB-kaart met een groot model, zitten meestal in deze situatie.
- Kleiner model: past gemakkelijk, antwoordt snel, schrijft minder goed bij lange, genuanceerde scènes.
- Kwantisatie met minder bits: bespaart geheugen, maar kost wat coherentie. Q4 is een veelgebruikt middenpunt; Q2 en Q3 vertonen vaak zichtbare schade.
- Kortere context: bespaart cachegeheugen. Veel lokale omgevingen draaien op 8K of 16K tokens om snel te blijven.
Abliteratie voegt nog een variabele toe. Omdat de gewichten zijn gewijzigd, kan een build iets minder stabiel zijn dan het origineel, met meer afdwalen of vreemde herhaling. Test elke build op je eigen prompts voordat je erop vertrouwt.
Onderhoud dat niemand in de tutorial noemt
Lokaal is gratis per token, maar niet vrij van werk. Verwacht tijd te spenderen aan deze taken:
- Bouwsels kiezen. Er zijn veel geablitereerde uploads beschikbaar, met verschillende basismodellen, methoden en kwantisaties. Het controleren van de modelkaart, het controleren van de licentie en het testen van de uitvoer is aan jou.
- Updates. Nieuwe basismodellen verschijnen, runtimes wijzigen standaardinstellingen, en een build die goed werkte, kan zich na een Ollama-upgrade anders gedragen.
- Concurrency. Eén GPU bedient één of twee verzoeken goed. Als drie gebruikers tegelijk chatten, moeten ze wachten.
- Beschikbaarheid. De app is alleen online zolang jouw machine dat is. Een laptop die in slaapstand gaat, haalt je bot offline.
- Veiligheid rond de uitvoer. Een model zonder weigeringen vereist je eigen regels over wie er toegang krijgt. Houd het voor wettelijk volwassen gebruik en laat het nooit in de buurt komen van iets dat minderjarigen betreft.
Een andere kostenpost is aandacht. Als een antwoord verkeerd lijkt, moet je uitzoeken of de prompt, de kwantisatie, de template of de build de oorzaak is. Bij een gehost endpoint debug je nog steeds prompts, maar het modelbestand en de runtime zijn niet jouw probleem. Houd een korte log bij van welke build, kwantisatie en instellingen goede resultaten opleverden, omdat je dit binnen een maand zult vergeten.
Dit is geen reden om lokaal te vermijden. Als je een goede GPU hebt en van afstellen houdt, is het een prima hobby en biedt het volledige privacy. De vraag is of het de goedkoopste route is voor een app die anderen gebruiken.
Het gehoste alternatief en een maandelijkse kostenindicatie
De gehoste optie is een OpenAI-compatibel endpoint dat één open-weight model serveert dat is afgestemd op het beantwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Je stuurt verzoeken naar POST /v1/chat/completions met model uncensored. Het is alleen tekst, met een contextvenster van 100.000 tokens, streaming en function calling. Het is geen officiële API van een modelleverancier. Zie de API-documentatie voor de volledige lijst met methoden.
Prijzen zijn $0,15 per 1M inputtokens en $0,50 per 1M outputtokens, van prepaid tegoed zonder abonnement. Mislukte of geweigerde verzoeken worden niet in rekening gebracht, en tegoed vervalt niet. Hier is een schets voor een kleine chat-app met 1.000 verzoeken per dag, gemiddeld 1.500 inputtokens en 400 outputtokens:
| Artikel | Tokens per dag | Tarief | Kosten per dag |
|---|---|---|---|
| Invoer | 1.000 x 1.500 = 1,5M | $0,15 per 1M | $0,225 |
| Uitvoer | 1.000 x 400 = 0,4M | $0,50 per 1M | $0,20 |
| Totaal | $0,425 |
Over 30 dagen is dat $12,75. Vergelijk dat met de elektriciteit, het aandeel in de hardwarekosten en je eigen uren voor een lokale setup. Als je de GPU al hebt, wint lokaal nog steeds qua kosten; als je er een zou moeten kopen of huren, vergelijk dan de huidige huurprijzen met dit bedrag. De prijzenpagina geeft informatie over opwaarderingen, die beginnen bij $20 en een bonus toevoegen vanaf $50.
Het gehoste endpoint aanroepen met dezelfde client
Omdat Ollama en de gehoste API beide het chat-completiesformaat spreken, verandert de code die je hierboven schreef amper. Wissel de base URL, de sleutel en de modelnaam:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
Een praktisch patroon is om beide te behouden. Ontwikkel tegen lokale Ollama wanneer je offline bent of prompts test, en stuur productieverkeer naar het gehoste endpoint. Lees de base URL uit een omgevingsvariabele en niets anders in je app hoeft dit te weten.
Nieuwe accounts kunnen $0,50 aan proeftegoed claimen met één klik op de API-sleutelpagina, geldig voor 7 dagen en zonder creditcard. Let op de limieten: een proefsleutel staat 2 gelijktijdige verzoeken en 60 verzoeken per minuut toe, terwijl een volledige sleutel 8 en 300 toestaat. Het artikel over API-rate limits legt uit hoe je 429-responses moet afhandelen.
Hoe te kiezen
Kies voor lokale Ollama als je al een GPU hebt met voldoende geheugen, je wilt dat gegevens op je machine blijven, je langzamere generatie op grote modellen tolereert, of het project persoonlijk is. Kies voor het gehoste endpoint als anderen de app gebruiken, je meerdere verzoeken tegelijk nodig hebt, je een 100K-context wilt zonder er geheugen voor te kopen, of je geen modelbestanden wilt onderhouden.
Een eenvoudige test: tel de uren die je deze maand aan setup hebt besteed en zet er een prijs op. Voor een hobby is dat aantal nul omdat je er plezier in hebt. Voor een product met gebruikers is het echt geld, en een pay-per-token-rekening van een paar dollar kan kleiner zijn. Overweeg ook het falingscenario. Als je thuismachine 's nachts opnieuw opstart, blijft een gehost endpoint antwoorden; een lokale server doet dat niet.
De twee zijn niet uitsluitend, en het proberen van de gehoste proefversie kost niets. Voer dezelfde tien prompts door beide en vergelijk de antwoorden en de tijd die je hebt besteed.
Meer handleidingen
Vragen en antwoorden
Kan Ollama abliterateerde modellen draaien?
Ja. Ollama kan gepubliceerde builds ophalen of GGUF-bestanden importeren die je downloadt. Eenmaal geladen, wordt het model lokaal geserveerd via een OpenAI-compatibele route onder /v1.
Hoeveel VRAM heb ik nodig?
Bij 4-bit-kwantisatie reken je op ongeveer een halve byte per parameter plus KV-cache. Een 8B-model past in ongeveer 5 tot 6 GB met een beperkt contextvenster, terwijl een 70B-model meer dan 35 GB nodig heeft.
Is een abliterated model hetzelfde als het origineel?
Nee. Het afwijsgedrag is uit de weights verwijderd en de kwaliteit of stabiliteit kan iets verschuiven. Test een build op je eigen prompts.
Werkt de gehoste API met Ollama-compatibele clients?
Elke client waarmee je een basis-URL en sleutel kunt instellen, werkt. Gebruik de basis-URL https://api.abliteratedapi.com/v1 en model uncensored.
Je sleutel is nog maar één formulier verwijderd
Maak een account aan, kopieer de sleutel, pas de basis-URL aan. Dat is de hele configuratie.
API-sleutel aanvragen