Abliterierte Modelle auf Ollama vs. eine gehostete API
Die Suche nach abliterierten Modellen für Ollama bedeutet meist eines: Du willst ein Modell, das ohne Ablehnungen antwortet, und du willst es auf deiner eigenen Maschine haben. Das funktioniert, und dieser Artikel zeigt, was es in Bezug auf Speicher, Zeit und Wartung kostet, und vergleicht dies mit einem gehosteten OpenAI-kompatiblen Endpunkt.
Aktualisiert


Wichtige Punkte
- Ollama führt abliterierte Gewichte lokal aus und stellt einen OpenAI-ähnlichen Endpunkt auf Port 11434 bereit.
- VRAM, nicht der Speicherplatz, ist die erste Grenze, die du erreichen wirst; Quantisierung tauscht Qualität gegen Speicher.
- Eine gehostete API kostet $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, sodass eine kleine App $12,75 im Monat kosten kann.
- Beide Wege verwenden dasselbe Chat-Completions-Format, sodass der Wechsel eine Änderung von zwei Zeilen ist.
Was abliteriert bedeutet und wie Ollama passt
Abliteration ist eine Gewichtsänderung. Forscher finden die Richtung in den Aktivierungen eines Modells, die mit der Ablehnung einer Anfrage korreliert, und entfernen sie aus den Gewichten. Das Ergebnis ist ein Modell, das eher antwortet als abzulehnen. Es ist kein Neutrainieren, daher behält das Modell seine allgemeinen Fähigkeiten, und die Qualität kann sich in beide Richtungen leicht verschieben.
Ollama ist eine lokale Laufzeitumgebung. Du ziehst ein Modell, es lädt die Gewichte herunter und stellt sie unter http://localhost:11434 bereit. Der Server bietet auch eine OpenAI-kompatible Route unter /v1, weshalb die meisten Chat-Frontends und SDKs damit kommunizieren können. Community-Mitglieder veröffentlichen abliterierte Builds beliebter Open-Weight-Modelle, meist als GGUF-Dateien, die Ollama importieren kann.
Die Pipeline ist also einfach: Finde einen Build, ziehe ihn, richte deinen Client auf localhost ein. Der schwierige Teil sind nicht die Befehle. Es ist die Hardware und die Pflege danach.
Ein abliteriertes Modell lokal ausführen, Schritt für Schritt
Installiere zuerst Ollama von der offiziellen Website. Lade dann entweder einen veröffentlichten Build nach Namen herunter oder importiere eine GGUF-Datei, die du selbst heruntergeladen hast.
- Lade einen veröffentlichten Build mit
ollama pull some-user/some-abliterated-modelherunter (der Name ist ein Beispiel, suche nach einem, dem du vertraust). - Oder importiere eine GGUF-Datei: Erstelle eine Modelfile, deren erste Zeile
FROM ./model.Q4_K_M.gguflautet, und führe dannollama create my-abliterated -f Modelfileaus. - Starte einen Chat im Terminal mit
ollama run my-abliterated.
Um es aus dem Code heraus aufzurufen, verwende einen beliebigen OpenAI-Client mit der lokalen Base-URL. Der Schlüssel kann eine beliebige nicht-leere Zeichenfolge sein, da Ollama ihn standardmäßig nicht überprüft.
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
Wenn das läuft, hast du eine funktionierende lokale Einrichtung. Beachte, dass der zweite Client im Snippet bereits auf den gehosteten Endpunkt zeigt; der Rest dieses Artikels erklärt, wann dies die bessere Wahl ist. Was zuerst kommt, ist der Teil, der entscheidet, ob die lokale Variante weiterhin nützlich ist: Speicher, Geschwindigkeit und Wartung.
VRAM, Geschwindigkeit und der Quantisierungs-Trade-off
Ein Modell muss in den schnellen Speicher passen, um mit einer nutzbaren Geschwindigkeit zu laufen. Eine grobe Regel: Bei 4-Bit-Quantisierung belegt jeder Parameter etwa ein halbes Byte, sodass ein 8B-Modell etwa 4 bis 5 GB für die Gewichte benötigt und ein 70B-Modell etwa 35 bis 40 GB. Füge Platz für den KV-Cache hinzu, der mit der Kontextlänge wächst. Lange Prompts können mehrere zusätzliche Gigabyte kosten.
Wenn das Modell nicht in den GPU-Speicher passt, lagert Ollama Schichten in den Systemspeicher und die CPU aus. Es antwortet immer noch, aber die Generierung verlangsamt sich erheblich. Leute, die 2 Tokens pro Sekunde auf einer 24-GB-Karte mit einem großen Modell sehen, befinden sich normalerweise in dieser Situation.
- Kleineres Modell: passt leicht, antwortet schnell, schreibt bei langen, nuancierten Szenen weniger gut.
- Quantisierung mit niedriger Bitzahl: spart Speicher, beeinträchtigt aber die Kohärenz. Q4 ist ein gängiger Kompromiss; Q2 und Q3 zeigen oft sichtbare Qualitätsverluste.
- Kürzerer Kontext: spart Cache-Speicher. Viele lokale Setups laufen bei 8K oder 16K Tokens, um schnell zu bleiben.
Abliteration fügt eine weitere Variable hinzu. Da die Gewichte geändert wurden, kann ein Build etwas weniger stabil sein als das Original, mit mehr Abschweifungen oder seltsamen Wiederholungen. Teste jeden Build mit deinen eigenen Prompts, bevor du dich darauf verlässt.
Wartung, die niemand im Tutorial auflistet
Lokal ist pro Token kostenlos, aber nicht arbeitsfrei. Erwarte, Zeit für Folgendes aufzuwenden:
- Auswahl der Builds. Es gibt viele abliterierte Uploads mit verschiedenen Basismodellen, Methoden und Quantisierungen. Das Lesen der Modellbeschreibung, das Prüfen der Lizenz und das Testen der Ausgaben liegen in deiner Verantwortung.
- Updates. Neue Basismodelle erscheinen, Laufzeitumgebungen ändern Standards, und ein Build, der funktioniert hat, kann sich nach einem Ollama-Upgrade anders verhalten.
- Nebenläufigkeit. Eine GPU bedient gut eine oder zwei Anfragen. Wenn drei Benutzer gleichzeitig chatten, werden sie in die Warteschlange gestellt.
- Verfügbarkeit. Die App ist nur aktiv, während deine Maschine läuft. Ein Laptop, der in den Ruhezustand geht, nimmt deinen Bot offline.
- Sicherheitsaspekte der Ausgabe. Ein Modell ohne Ablehnungen benötigt eigene Regeln dafür, wer darauf zugreifen kann. Halte es für die rechtmäßige Nutzung durch Erwachsene bereit und lasse es niemals mit Inhalten in Berührung kommen, die Minderjährige betreffen.
Eine weitere Kostenstelle ist Aufmerksamkeit. Wenn eine Antwort falsch aussieht, musst du herausfinden, ob der Prompt, die Quantisierung, die Vorlage oder der Build schuld ist. Bei einem gehosteten Endpunkt debuggst du immer noch Prompts, aber die Modelldatei und die Laufzeitumgebung sind nicht dein Problem. Führe ein kurzes Protokoll darüber, welcher Build, welche Quantisierung und welche Einstellungen gute Ergebnisse geliefert haben, denn du wirst es innerhalb eines Monats vergessen.
Das ist alles kein Grund, Lokal zu vermeiden. Wenn du eine gute GPU besitzt und das Tuning genießt, ist es ein schönes Hobby und bietet volle Privatsphäre. Die Frage ist, ob es die günstigste Route für eine App ist, die andere Leute nutzen.
Die gehostete Alternative und eine monatliche Kostenschätzung
Die gehostete Option ist ein OpenAI-kompatibler Endpunkt, der ein Open-Weight-Modell bereitstellt, das darauf abgestimmt ist, ohne Inhaltsablehnungen für die rechtmäßige Nutzung durch Erwachsene zu antworten. Du sendest Anfragen an POST /v1/chat/completions mit dem Modell uncensored. Es ist nur Text, mit einem 100.000-Token-Kontextfenster, Streaming und Function Calling. Es ist keine offizielle API eines Modell-Anbieters. Siehe die API-Dokumentation für die vollständige Methodenliste.
Die Preise betragen $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, ab Prepaid-Guthaben ohne Abonnement. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet, und Guthaben verfällt nie. Hier ist eine Skizze für eine kleine Chat-App mit 1.000 Anfragen pro Tag, durchschnittlich 1.500 Input-Token und 400 Output-Token:
| Position | Token pro Tag | Preis | Kosten pro Tag |
|---|---|---|---|
| Eingabe | 1.000 x 1.500 = 1,5M | $0,15 pro 1M | $0,225 |
| Ausgabe | 1.000 x 400 = 0,4M | $0,50 pro 1M | $0,20 |
| Gesamt | $0,425 |
Das sind 12,75 $ in 30 Tagen. Vergleiche das mit Strom, Hardwareanteil und Zeit für einen lokalen Server. Mit eigener GPU gewinnt lokal; bei Kauf/Miete prüfe Angebote. Die Preisseite zeigt Aufladungen ab $20 mit Bonus ab $50.
Den gehosteten Endpunkt mit demselben Client aufrufen
Da Ollama und die gehostete API beide das Chat-Completions-Format sprechen, ändert sich der Code, den du oben geschrieben hast, kaum. Tausche die Base-URL, den Schlüssel und den Modellnamen:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
Ein praktisches Muster ist, beide zu behalten. Entwickle gegen lokales Ollama, wenn du offline bist oder Prompts testest, und sende Produktionsverkehr an den gehosteten Endpunkt. Lies die Base-URL aus einer Umgebungsvariable, und nichts anderes in deiner App muss es wissen.
Neue Konten erhalten $0,50 Testguthaben per Klick auf der API-Schlüssel-Seite, 7 Tage gültig, ohne Kreditkarte. Limits: ein Trial-Key erlaubt 2 gleichzeitige Anfragen und 60 pro Minute, ein Voll-Key 8 und 300. Der Artikel zu API-Ratenlimits erklärt 429-Responses.
Wie du wählst
Wähle lokales Ollama, wenn du bereits eine GPU mit ausreichend Speicher hast, du willst, dass Daten auf deiner Maschine bleiben, du langsamere Generierung bei großen Modellen tolerierst oder das Projekt persönlich ist. Wähle den gehosteten Endpunkt, wenn andere Leute die App nutzen, du mehrere Anfragen gleichzeitig benötigst, du einen 100K-Kontext willst, ohne Speicher dafür zu kaufen, oder du keine Modelldateien warten willst.
Ein einfacher Test: Zähle die Stunden, die du diesen Monat für die Einrichtung aufgewendet hast, und lege einen Preis dafür fest. Für ein Hobby ist diese Zahl null, weil du es genießt. Für ein Produkt mit Nutzern ist es echtes Geld, und eine Pay-per-Token-Rechnung von wenigen Dollar kann kleiner sein. Berücksichtige auch den Ausfallfall. Wenn deine Heimmaschine nachts neu startet, antwortet ein gehosteter Endpunkt weiter; ein lokaler Server nicht.
Die beiden schließen sich nicht aus, und das Ausprobieren der Testversion kostet nichts. Führe dieselben zehn Prompts durch beide aus und vergleiche die Antworten und die aufgewendete Zeit.
Weitere Anleitungen
Fragen und Antworten
Kann Ollama abliterierte Modelle ausführen?
Ja. Ollama kann veröffentlichte Builds herunterladen oder GGUF-Dateien importieren, die du herunterlädst. Sobald geladen, wird das Modell lokal über eine OpenAI-kompatible Route unter /v1 bereitgestellt.
Wie viel VRAM brauche ich?
Bei 4-Bit-Quantisierung rechne mit etwa einem halben Byte pro Parameter plus KV-Cache. Ein 8B-Modell passt bei moderatem Kontext in etwa 5 bis 6 GB, während ein 70B-Modell deutlich mehr als 35 GB benötigt.
Ist ein abliteriertes Modell dasselbe wie das Original?
Nein. Das Ablehnungsverhalten wird aus den Gewichten editiert, und Qualität oder Stabilität können sich leicht verschieben. Teste eine Version mit deinen eigenen Prompts.
Funktioniert die gehostete API mit Ollama-kompatiblen Clients?
Jeder Client, mit dem du eine OpenAI-Basis-URL und einen Schlüssel festlegen kannst, funktioniert. Verwende die Basis-URL https://api.abliteratedapi.com/v1 und das Modell uncensored.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.
API-Schlüssel erhalten