FR ▾

Modèles sans censure sur Ollama vs une API hébergée

Rechercher des modèles sans censure sur Ollama signifie généralement une chose : vous voulez un modèle qui répond sans refus et vous le voulez sur votre propre machine. Cela fonctionne, et cet article montre ce que cela coûte en mémoire, en temps et en maintenance, puis le compare à un endpoint hébergé compatible OpenAI.

Mis à jour

Un GPU local et un serveur cloud équilibrés sur une balance, comparant les configurations LLM locales et hébergées
Interface de chat reliée par un câble lumineux à un serveur API hébergé, représentant une connexion Open WebUI

Points clés

  • Ollama exécute les poids sans censure localement et expose un endpoint de style OpenAI sur le port 11434.
  • La VRAM, et non l'espace disque, est la première limite que vous atteindrez ; la quantification échange la qualité contre la mémoire.
  • Une API hébergée coûte $0,15 par 1M de tokens d'entrée et $0,50 par 1M de tokens de sortie, donc une petite application peut coûter $12,75 par mois.
  • Les deux routes utilisent le même format de complétions de chat, donc passer de l'une à l'autre ne nécessite qu'une modification de deux lignes.

Ce que signifie sans censure et comment Ollama s'insère

L'abliteration est une modification des poids. Les chercheurs trouvent la direction dans les activations d'un modèle qui correspond au refus d'une requête, puis la retirent des poids. Le résultat est un modèle qui a tendance à répondre au lieu de refuser. Ce n'est pas un réentraînement, donc le modèle conserve ses compétences générales, et la qualité peut légèrement varier dans les deux sens.

Ollama est un environnement d'exécution local. Vous récupérez un modèle (pull), il télécharge les poids, et les sert sur http://localhost:11434. Le serveur offre également une route compatible OpenAI sous /v1, c'est pourquoi la plupart des interfaces de chat et des SDK peuvent communiquer avec lui. Les membres de la communauté publient des builds sans censure de modèles ouverts populaires, généralement sous forme de fichiers GGUF qu'Ollama peut importer.

Le pipeline est donc simple : trouver un build, le tirer, pointer votre client vers localhost. La partie difficile ne réside pas dans les commandes. Elle réside dans le matériel et les soins qui suivent.

Exécuter un modèle sans censure localement, étape par étape

Installez d'abord Ollama depuis son site officiel. Ensuite, soit tirez un build publié par son nom, soit importez un fichier GGUF que vous avez téléchargé vous-même.

  1. Récupérez une version publiée avec ollama pull some-user/some-abliterated-model (le nom est un exemple, cherchez-en un en qui vous avez confiance).
  2. Ou importez un fichier GGUF : écrivez un Modelfile dont la première ligne est FROM ./model.Q4_K_M.gguf, puis exécutez ollama create my-abliterated -f Modelfile.
  3. Lancez un chat dans le terminal avec ollama run my-abliterated.

Pour l'appeler depuis du code, utilisez n'importe quel client OpenAI avec l'URL de base locale. La clé peut être n'importe quelle chaîne non vide, car Ollama ne la vérifie pas par défaut.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

Si cela fonctionne, vous avez une configuration locale opérationnelle. Notez que le deuxième client dans l'exemple pointe déjà vers l'endpoint hébergé ; le reste de cet article explique quand c'est le meilleur choix. Ce qui suit est d'abord la partie qui décide si le local reste utile : la mémoire, la vitesse et l'entretien.

VRAM, vitesse et le compromis de la quantification

Un modèle doit tenir dans une mémoire rapide pour fonctionner à une vitesse utile. Une règle approximative : en quantification 4-bit, chaque paramètre prend environ la moitié d'un octet, donc un modèle 8B nécessite environ 4 à 5 Go pour les poids, et un modèle 70B nécessite environ 35 à 40 Go. Ajoutez de la place pour le cache KV, qui augmente avec la longueur du contexte. Les prompts longs peuvent coûter plusieurs gigaoctets supplémentaires.

Lorsque le modèle ne tient pas dans la mémoire GPU, Ollama déverse les couches dans la RAM système et le CPU. Il répond toujours, mais la génération ralentit considérablement. Les personnes qui voient 2 tokens par seconde sur une carte de 24 Go avec un grand modèle sont généralement dans cette situation.

  • Modèle plus petit : tient facilement, répond vite, écrit moins bien sur les scènes longues et nuancées.
  • Quantification à bits inférieurs : économise de la mémoire, coûte en cohérence. Q4 est un point milieu courant ; Q2 et Q3 montrent souvent des dommages visibles.
  • Contexte plus court : économise la mémoire du cache. De nombreuses configurations locales fonctionnent à 8K ou 16K tokens pour rester rapides.

Abliteration ajoute une variable supplémentaire. Parce que les poids sont modifiés, un build peut être un peu moins stable que l'original, avec plus de divagations ou de répétitions étranges. Testez n'importe quel build avec vos propres prompts avant de vous y fier.

L'entretien que personne ne liste dans le tutoriel

Le local est gratuit par token, mais pas exempt de travail. Attendez-vous à passer du temps sur ces points :

  • Choix des versions. De nombreux modèles sans censure existent, avec différents modèles de base, méthodes et quantifications. Lire la fiche, vérifier la licence et tester les sorties est votre responsabilité.
  • Mises à jour. De nouveaux modèles de base apparaissent, les environnements d'exécution changent leurs valeurs par défaut, et un build qui fonctionnait peut se comporter différemment après une mise à jour d'Ollama.
  • Concurrence. Un seul GPU sert bien une ou deux requêtes. Si trois utilisateurs chatent en même temps, ils font la queue.
  • Disponibilité. L'application n'est en ligne que tant que votre machine est allumée. Un ordinateur portable en veille met votre bot hors ligne.
  • La sécurité autour de la sortie. Un modèle sans refus a besoin de vos propres règles sur qui peut y accéder. Gardez-le pour un usage adulte légal et ne le laissez jamais près de quoi que ce soit impliquant des mineurs.

Un autre coût est l'attention. Lorsqu'une réponse semble fausse, vous devez déterminer si le prompt, la quantification, le template ou le build est en cause. Avec un endpoint hébergé, vous déboguez toujours les prompts, mais le fichier modèle et l'environnement d'exécution ne sont pas votre problème. Tenez un journal court de quel build, quantification et paramètres ont produit de bons résultats, car vous oublierez cela en un mois.

Tout cela n'est pas une raison pour éviter le local. Si vous possédez un bon GPU et aimez le réglage, c'est un excellent passe-temps et cela offre une confidentialité totale. La question est de savoir si c'est la solution la moins chère pour une application utilisée par d'autres.

L'alternative hébergée et une estimation des coûts mensuels

L'option hébergée est un endpoint compatible OpenAI servant un seul modèle à poids ouverts ajusté pour répondre sans refus de contenu pour un usage adulte légal. Vous envoyez des requêtes à POST /v1/chat/completions avec le modèle uncensored. C'est du texte uniquement, avec une fenêtre de contexte de 100 000 tokens, le streaming et l'appel de fonctions. Ce n'est pas une API officielle d'un vendeur de modèle. Consultez la documentation API pour la liste complète des méthodes.

La tarification est de $0,15 par 1M de tokens d'entrée et $0,50 par 1M de tokens de sortie, à partir d'un crédit prépayé sans abonnement. Les requêtes échouées ou refusées ne sont pas facturées, et le crédit n'expire jamais. Voici un aperçu pour une petite application de chat avec 1 000 requêtes par jour, en moyenne 1 500 tokens d'entrée et 400 tokens de sortie :

ÉlémentTokens par jourTauxCoût par jour
Entrée1 000 x 1 500 = 1,5 M$0,15 par 1M$0 225
Sortie1 000 x 400 = 0,4M$0,50 par 1M$0,20
Total$0,425

Sur 30 jours, cela représente $12,75. Comparez cela avec l'électricité, la part du matériel et vos propres heures pour une boîte locale. Si vous possédez déjà le GPU, le local gagne toujours en argent comptant ; si vous devez en acheter ou en louer un, vérifiez les devis de location actuels par rapport à ce chiffre. La page de tarification liste les recharges, qui commencent à $20 et ajoutent un bonus à partir de $50.

Appeler l'endpoint hébergé avec le même client

Parce que Ollama et l'API hébergée utilisent toutes deux le format de complétion de chat, le code que vous avez écrit ci-dessus change à peine. Échangez l'URL de base, la clé et le nom du modèle :

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

Un schéma pratique est de garder les deux. Développez contre Ollama local lorsque vous êtes hors ligne ou testez des prompts, et envoyez le trafic de production vers l'endpoint hébergé. Lisez l'URL de base depuis une variable d'environnement et rien d'autre dans votre application n'a besoin de le savoir.

Les nouveaux comptes peuvent réclamer $0,50 de crédit d'essai en un clic sur la page de la clé API, valable 7 jours et sans carte bancaire. Notez les limites : une clé d'essai permet 2 requêtes simultanées et 60 requêtes par minute, tandis qu'une clé complète permet 8 et 300. L'article sur les limites de débit de l'API explique comment gérer les réponses 429.

Comment choisir

Choisissez Ollama local lorsque vous avez déjà un GPU avec suffisamment de mémoire, vous voulez que les données restent sur votre machine, vous tolérez une génération plus lente sur les grands modèles, ou le projet est personnel. Choisissez l'endpoint hébergé lorsque d'autres utilisent l'application, vous avez besoin de plusieurs requêtes à la fois, vous voulez un contexte de 100K sans acheter de mémoire pour cela, ou vous ne voulez pas maintenir les fichiers de modèle.

Un test simple : comptez les heures que vous avez passées à la configuration ce mois-ci et attribuez-y un prix. Pour un passe-temps, ce nombre est zéro parce que vous l'appréciez. Pour un produit avec des utilisateurs, c'est de l'argent réel, et une facture de quelques dollars peut être plus petite. Considérez également le cas d'échec. Si votre machine domestique redémarre la nuit, un endpoint hébergé continue de répondre ; un serveur local non.

Les deux ne sont pas exclusifs, et essayer la version hébergée ne coûte rien. Exécutez les mêmes dix prompts dans les deux et comparez les réponses et le temps que vous avez passé.

Questions et réponses

Ollama peut-il exécuter des modèles ablitérés ?

Oui. Ollama peut extraire des builds publiés ou importer des fichiers GGUF que vous téléchargez. Une fois chargés, le modèle est servi localement avec une route compatible OpenAI sous /v1.

Combien de VRAM me faut-il ?

À une quantification 4 bits, comptez environ un demi-octet par paramètre plus le cache KV. Un modèle de 8 milliards de paramètres tient dans environ 5 à 6 Go avec une fenêtre de contexte modeste, tandis qu'un modèle de 70 milliards de paramètres nécessite bien plus de 35 Go.

Un modèle ablitré est-il identique à l'original ?

Non. Le comportement de refus est retiré des poids, et la qualité ou la stabilité peut légèrement varier. Testez une version avec vos propres prompts.

L'API hébergée fonctionne-t-elle avec des clients compatibles Ollama ?

Tout client qui vous permet de définir une URL de base OpenAI et une clé fonctionne. Utilisez l'URL de base https://api.abliteratedapi.com/v1 et le modèle uncensored.

Votre clé est à une étape de formulaire

Créez un compte, copiez la clé, changez l'URL de base. C'est toute la configuration.

Obtenir une clé API