IT ▾

Modelli senza censura su Ollama vs API ospitata

Cercare modelli senza censura su Ollama significa di solito una cosa: vuoi un modello che risponda senza rifiuti e vuoi che sia sulla tua macchina. Funziona, e questo articolo mostra quanto costa in memoria, tempo e manutenzione, poi lo confronta con un endpoint ospitato compatibile con OpenAI.

Aggiornato

Una GPU locale e un server cloud bilanciati su una bilancia, confrontando configurazioni LLM locali e ospitate
Interfaccia di chat collegata con un cavo luminoso a un server API ospitato, che rappresenta una connessione Open WebUI

Punti chiave

  • Ollama esegue i pesi senza censura localmente ed espone un endpoint in stile OpenAI sulla porta 11434.
  • La VRAM, non lo spazio su disco, è il primo limite che incontrerai; la quantizzazione scambia qualità per memoria.
  • Un'API ospitata costa $0,15 per 1M di token in input e $0,50 per 1M di token in output, quindi un'app piccola può costare $12,75 al mese.
  • Entrambe le rotte parlano lo stesso formato di completamento chat, quindi il passaggio richiede una modifica di due righe.

Cosa significa senza censura e come si inserisce Ollama

L'abliteration è una modifica dei pesi. I ricercatori trovano la direzione nelle attivazioni di un modello che correla con il rifiuto di una richiesta, poi la rimuovono dai pesi. Il risultato è un modello che tende a rispondere invece di declinare. Non è un riaddestramento, quindi il modello mantiene le sue abilità generali e la qualità può variare leggermente in entrambe le direzioni.

Ollama è un runtime locale. Scarichi un modello, scarica i pesi e li serve su http://localhost:11434. Il server offre anche un percorso compatibile con OpenAI sotto /v1, motivo per cui la maggior parte delle interfacce chat e degli SDK può parlarci. I membri della community pubblicano build senza censura di modelli open popolari, solitamente come file GGUF che Ollama può importare.

Quindi il pipeline è semplice: trova una build, scaricala, punta il tuo client su localhost. La parte difficile non sono i comandi. È l'hardware e la cura che segue.

Eseguire un modello abliterated localmente, passo dopo passo

Prima installa Ollama dal suo sito ufficiale. Poi scarica una build pubblicata per nome o importa un file GGUF che hai scaricato tu stesso.

  1. Scarica una build pubblicata con ollama pull some-user/some-abliterated-model (il nome è un esempio, cerca uno di cui ti fidi).
  2. Oppure importa un file GGUF: scrivi un Modelfile la cui prima riga è FROM ./model.Q4_K_M.gguf, poi esegui ollama create my-abliterated -f Modelfile.
  3. Avvia una chat nel terminale con ollama run my-abliterated.

Per chiamarlo dal codice, usa qualsiasi client OpenAI con l'URL base locale. La chiave può essere qualsiasi stringa non vuota, poiché Ollama non la controlla in modo predefinito.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

Se questo funziona, hai una configurazione locale funzionante. Nota che il secondo client nello snippet punta già all'endpoint ospitato; il resto di questo articolo spiega quando è la scelta migliore. Quello che segue è prima la parte che decide se il locale rimane utile: memoria, velocità e manutenzione.

VRAM, velocità e il compromesso della quantizzazione

Un modello deve adattarsi alla memoria veloce per funzionare a una velocità utile. Una regola approssimativa: alla quantizzazione a 4 bit ogni parametro richiede circa mezzo byte, quindi un modello da 8B richiede circa 4-5 GB per i pesi e un modello da 70B richiede circa 35-40 GB. Aggiungi spazio per la cache KV, che cresce con la lunghezza del contesto. Prompt lunghi possono costare diversi gigabyte extra.

Quando il modello non si adatta alla memoria GPU, Ollama versa gli strati nella RAM di sistema e nella CPU. Risponde ancora, ma la generazione rallenta molto. Le persone che vedono 2 token al secondo su una scheda da 24 GB con un modello grande sono solitamente in questa situazione.

  • Modello più piccolo: si adatta facilmente, risponde velocemente, scrive meno bene su scene lunghe e sfumate.
  • Quantizzazione a bit più bassi: salva memoria, costa qualche coerenza. Q4 è un punto medio comune; Q2 e Q3 mostrano spesso danni visibili.
  • Contesto più breve: salva memoria cache. Molte configurazioni locali funzionano a 8K o 16K token per rimanere veloci.

L'abliteration aggiunge un'altra variabile. Poiché i pesi sono modificati, una build può essere un po' meno stabile dell'originale, con più divagazioni o ripetizioni strane. Testa qualsiasi build con i tuoi prompt prima di affidarti ad essa.

Manutenzione che nessuno elenca nel tutorial

Il locale è gratuito per token, ma non gratuito di lavoro. Preparati a spendere tempo per questo:

  • Scegliere le build. Esistono molti upload abliterated, con modelli base, metodi e quantizzazioni diversi. Leggere la scheda, controllare la licenza e testare gli output è compito tuo.
  • Aggiornamenti. Appaiono nuovi modelli base, i runtime cambiano le impostazioni predefinite e una build che funzionava può comportarsi diversamente dopo un aggiornamento di Ollama.
  • Concorrenza. Una GPU serve bene una o due richieste. Se tre utenti chattano insieme, fanno la coda.
  • Disponibilità. L'app è attiva solo mentre la tua macchina lo è. Un laptop che va in sospensione porta offline il tuo bot.
  • Sicurezza intorno all'output. Un modello senza rifiuti ha bisogno delle tue regole su chi può accedervi. Tienilo per uso adulto legale e non lasciarlo mai vicino a qualsiasi cosa coinvolga minorenni.

Un altro costo è l'attenzione. Quando una risposta sembra sbagliata, devi capire se il prompt, la quantizzazione, il template o la build sono colpevoli. Con un endpoint ospitato ancora debugghi i prompt, ma il file del modello e il runtime non sono un tuo problema. Tieni un breve registro di quale build, quantizzazione e impostazioni hanno prodotto buoni risultati, perché dimenticherai entro un mese.

Nessuno di questo è un motivo per evitare il locale. Se possiedi una buona GPU e ti piace ottimizzare, è un ottimo hobby e offre privacy completa. La domanda è se sia la strada più economica per un'app usata da altre persone.

L'alternativa ospitata e una stima dei costi mensili

L'opzione ospitata è un endpoint compatibile con OpenAI che serve un modello a pesi aperti ottimizzato per rispondere senza rifiuti di contenuto per uso adulto legale. Invii richieste a POST /v1/chat/completions con il modello uncensored. È solo testo, con una finestra di contesto di 100.000 token, streaming e chiamata di funzioni. Non è un'API ufficiale di alcun fornitore di modelli. Consulta la documentazione API per l'elenco completo dei metodi.

La tariffazione è $0,15 per 1M di token in input e $0,50 per 1M di token in output, da credito prepagato senza abbonamento. Le richieste fallite o rifiutate non vengono addebitate e il credito non scade mai. Ecco una stima per un'app chat piccola con 1.000 richieste al giorno, in media 1.500 token in input e 400 token in output:

VoceToken al giornoTassoCosto al giorno
Input1.000 x 1.500 = 1,5M$0,15 per 1M$0,225
Output1.000 x 400 = 0,4M$0,50 per 1M$0,20
Totale$0,425

In 30 giorni sono $12,75. Confrontalo con l'elettricità, la quota hardware e le tue ore per una macchina locale. Se possiedi già la GPU, il locale vince ancora sui costi; se dovessi comprarla o noleggiarla, controlla le quotazioni di noleggio attuali rispetto a questo numero. La pagina dei prezzi elenca le ricariche, che partono da $20 e aggiungono un bonus da $50.

Chiamare l'endpoint ospitato con lo stesso client

Poiché Ollama e l'API ospitata supportano entrambe il formato di completamento chat, il codice che hai scritto sopra subisce poche modifiche. Scambia l'URL base, la chiave e il nome del modello:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

Un pattern pratico è mantenerli entrambi. Sviluppa contro Ollama locale quando sei offline o testi i prompt, e invia il traffico di produzione all'endpoint ospitato. Leggi l'URL base da una variabile d'ambiente e nient'altro nella tua app deve sapere.

I nuovi account possono richiedere $0,50 di credito di prova con un clic sulla pagina della chiave API, valido per 7 giorni e senza carta di credito. Nota i limiti: una chiave di prova consente 2 richieste parallele e 60 richieste al minuto, mentre una chiave completa ne consente 8 e 300. L'articolo sui limiti di richiesta API spiega come gestire le risposte 429.

Come scegliere

Scegli Ollama locale quando hai già una GPU con memoria sufficiente, vuoi che i dati rimangano sulla tua macchina, tolleri una generazione più lenta su modelli grandi o il progetto è personale. Scegli l'endpoint ospitato quando altre persone usano l'app, hai bisogno di diverse richieste contemporaneamente, vuoi un contesto da 100K senza comprare memoria per esso o non vuoi mantenere i file del modello.

Un test semplice: conta le ore che hai speso per la configurazione questo mese e metti un prezzo su di esse. Per un hobby quel numero è zero perché ti piace. Per un prodotto con utenti, è denaro reale e un conto pay-per-token di pochi dollari potrebbe essere più piccolo. Considera anche il caso di fallimento. Se la tua macchina domestica si riavvia di notte, un endpoint ospitato continua a rispondere; un server locale no.

I due non sono esclusivi e provare la prova ospitata non costa nulla. Esegui le stesse dieci prompt su entrambi e confronta le risposte e il tempo impiegato.

Domande e risposte

Ollama può eseguire modelli senza censura?

Sì. Ollama può scaricare build pubblicate o importare file GGUF che scarichi. Una volta caricato, il modello viene servito localmente con un percorso compatibile con OpenAI sotto /v1.

Quanta VRAM mi serve?

A quantizzazione a 4 bit, conta circa mezzo byte per parametro più la cache KV. Un modello da 8B si adatta in circa 5-6 GB con un contesto ridotto, mentre un modello da 70B richiede ben oltre 35 GB.

Un modello senza censura è uguale all'originale?

No. Il comportamento di rifiuto è editato fuori dai pesi e la qualità o la stabilità possono spostarsi leggermente. Testa una build sui tuoi prompt.

L'API ospitata funziona con client compatibili con Ollama?

Funziona qualsiasi client che ti permetta di impostare un URL base OpenAI e una chiave. Usa l'URL base https://api.abliteratedapi.com/v1 e il modello `uncensored`.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni la chiave API