ES ▾

Modelos abliterados en Ollama frente a una API alojada

Buscar modelos abliterados para Ollama suele significar una cosa: quieres un modelo que responda sin rechazos y que esté en tu propia máquina. Eso funciona, y este artículo muestra cuánto cuesta en memoria, tiempo y mantenimiento, luego lo compara con un endpoint compatible con OpenAI alojado.

Actualizado

Una GPU local y un servidor en la nube equilibrados en una balanza, comparando configuraciones de LLM local y alojado
Interfaz de chat vinculada por un cable brillante a un servidor de API alojado, representando una conexión de Open WebUI

Puntos clave

  • Ollama ejecuta pesos abliterados localmente y expone un endpoint estilo OpenAI en el puerto 11434.
  • La VRAM, no el espacio en disco, es el primer límite que alcanzarás; la cuantización intercambia calidad por memoria.
  • Una API alojada cuesta $0,15 por cada 1M de tokens de entrada y $0,50 por cada 1M de tokens de salida, por lo que una aplicación pequeña puede costar $12,75 al mes.
  • Ambas rutas usan el mismo formato de completado de chat, por lo que el cambio es de dos líneas.

Qué significa abliterado y cómo encaja Ollama

La abliteración es una edición de pesos. Los investigadores encuentran la dirección en las activaciones de un modelo que se correlaciona con el rechazo de una petición, luego la eliminan de los pesos. El resultado es un modelo que tiende a responder en lugar de rechazar. No es un reentrenamiento, por lo que el modelo conserva sus habilidades generales, y la calidad puede cambiar ligeramente en cualquier dirección.

Ollama es un entorno de ejecución local. Haces pull de un modelo, descarga los pesos y los sirve en http://localhost:11434. El servidor también ofrece una ruta compatible con OpenAI bajo /v1, por lo que la mayoría de las interfaces de chat y los SDK pueden comunicarse con él. Los miembros de la comunidad publican versiones abliteradas de modelos abiertos populares, generalmente como archivos GGUF que Ollama puede importar.

Así que el pipeline es simple: encuentra una versión, haz pull, apunta tu cliente a localhost. La parte difícil no son los comandos. Es el hardware y el cuidado posterior.

Ejecutar un modelo abliterado localmente, paso a paso

Primero instala Ollama desde su sitio oficial. Luego haz pull de una versión publicada por nombre o importa un archivo GGUF que hayas descargado tú mismo.

  1. Haz pull de una versión publicada con ollama pull some-user/some-abliterated-model (el nombre es un ejemplo, busca uno en el que confíes).
  2. O importa un archivo GGUF: escribe un Modelfile cuya primera línea sea FROM ./model.Q4_K_M.gguf, luego ejecuta ollama create my-abliterated -f Modelfile.
  3. Inicia un chat en la terminal con ollama run my-abliterated.

Para llamarlo desde código, usa cualquier cliente de OpenAI con la URL base local. La clave puede ser cualquier cadena no vacía, ya que Ollama no la verifica por defecto.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

Si esto funciona, tienes una configuración local operativa. Observa que el segundo cliente en el fragmento ya apunta al endpoint alojado; el resto de este artículo explica cuándo esa es la mejor opción. Lo que sigue primero es la parte que decide si lo local sigue siendo útil: memoria, velocidad y mantenimiento.

VRAM, velocidad y el compromiso de la cuantización

Un modelo debe caber en memoria rápida para ejecutarse a una velocidad útil. Una regla aproximada: en cuantización de 4 bits, cada parámetro ocupa aproximadamente medio byte, por lo que un modelo de 8B necesita alrededor de 4 a 5 GB para los pesos, y un modelo de 70B necesita alrededor de 35 a 40 GB. Añade espacio para la caché KV, que crece con la longitud del contexto. Los prompts largos pueden consumir varios gigabytes adicionales.

Cuando el modelo no cabe en la memoria de la GPU, Ollama vuelca capas a la RAM del sistema y a la CPU. Sigue respondiendo, pero la generación se ralentiza mucho. Las personas que ven 2 tokens por segundo en una tarjeta de 24 GB con un modelo grande suelen estar en esta situación.

  • Modelo más pequeño: cabe fácilmente, responde rápido, tiene menor capacidad de escritura en escenas largas y matizadas.
  • Cuantización de menor bit: ahorra memoria, pierde coherencia. Q4 es un punto medio común; Q2 y Q3 suelen mostrar daños visibles.
  • Contexto más corto: ahorra memoria de caché. Muchas configuraciones locales se ejecutan en 8K o 16K tokens para mantenerse rápidas.

La abliteración añade una variable más. Debido a que los pesos están editados, una versión puede ser un poco menos estable que la original, con más divagaciones o repeticiones extrañas. Prueba cualquier versión con tus propios prompts antes de confiar en ella.

Mantenimiento que nadie lista en el tutorial

Lo local es gratis por token, pero no está libre de trabajo. Espera pasar tiempo en esto:

  • Elegir versiones. Existen muchas subidas abliteradas, con diferentes modelos base, métodos y cuantizaciones. Leer la tarjeta, verificar la licencia y probar las salidas es tu responsabilidad.
  • Actualizaciones. Aparecen nuevos modelos base, los entornos de ejecución cambian las opciones predeterminadas, y una versión que funcionaba puede comportarse de manera diferente después de una actualización de Ollama.
  • Concurrencia. Una GPU sirve bien una o dos peticiones. Si tres usuarios chatean a la vez, hacen cola.
  • Disponibilidad. La aplicación está activa solo mientras tu máquina lo esté. Un portátil que se suspende desconecta tu bot.
  • Seguridad en la salida. Un modelo sin rechazos necesita tus propias reglas sobre quién puede acceder a él. Mantenlo para uso adulto lícito y nunca lo acerques a nada que involucre menores de edad.

Otro costo es la atención. Cuando una respuesta parece incorrecta, debes averiguar si el prompt, la cuantización, la plantilla o la versión son los culpables. Con un endpoint alojado aún depuras prompts, pero el archivo del modelo y el entorno de ejecución no son tu problema. Mantén un registro corto de qué versión, cuantización y configuración produjeron buenos resultados, porque lo olvidarás en un mes.

Nada de esto es una razón para evitar lo local. Si posees una buena GPU y disfrutas ajustando, es un buen pasatiempo y da privacidad total. La pregunta es si es la ruta más barata para una aplicación que usan otras personas.

La alternativa alojada y un cálculo mensual de costos

La opción alojada es un endpoint compatible con OpenAI que sirve un modelo de pesos abiertos ajustado para responder sin rechazos de contenido para uso adulto lícito. Envías peticiones a POST /v1/chat/completions con el modelo uncensored. Es solo texto, con una ventana de contexto de 100.000 tokens, streaming y llamadas a funciones. No es una API oficial de ningún proveedor de modelos. Consulta la documentación de la API para la lista completa de métodos.

La tarifa es $0,15 por cada 1M de tokens de entrada y $0,50 por cada 1M de tokens de salida, desde crédito prepago sin suscripción. Las peticiones fallidas o rechazadas no se cobran, y el crédito no caduca. Aquí hay un cálculo para una aplicación de chat pequeña con 1.000 peticiones al día, con un promedio de 1.500 tokens de entrada y 400 tokens de salida:

ÍtemTokens por díaTarifaCosto por día
Entrada1.000 x 1.500 = 1,5M$0,15 por 1M$0,225
Salida1.000 x 400 = 0,4M$0,50 por 1M$0,20
Total$0,425

En 30 días eso es $12,75. Compara eso con la electricidad, la parte del hardware y tus propias horas para una caja local. Si ya posees la GPU, lo local aún gana en efectivo; si necesitarías comprar o alquilar una, cotiza las cuotas de alquiler actuales contra este número. La página de tarifas lista las recargas, que comienzan en $20 y añaden un bono desde $50.

Llamar al endpoint alojado con el mismo cliente

Como Ollama y la API alojada hablan el formato de chat completions, el código que escribiste arriba apenas cambia. Cambia la base URL, la clave y el nombre del modelo:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

Un patrón práctico es mantener ambos. Desarrolla contra Ollama local cuando estés sin conexión o probando prompts, y envía tráfico de producción al endpoint alojado. Lee la URL base de una variable de entorno y nada más en tu aplicación necesita saberlo.

Las nuevas cuentas pueden reclamar $0,50 de crédito de prueba con un clic en la página de claves de API, válido por 7 días y sin tarjeta de crédito. Nota los límites: una clave de prueba permite 2 peticiones simultáneas y 60 peticiones por minuto, mientras que una clave completa permite 8 y 300. El artículo sobre límites de peticiones de API explica cómo manejar las respuestas 429.

Cómo elegir

Elige Ollama local cuando ya tengas una GPU con suficiente memoria, quieras que los datos se queden en tu máquina, toleres una generación más lenta en modelos grandes, o el proyecto sea personal. Elige el endpoint alojado cuando otras personas usen la aplicación, necesites varias peticiones a la vez, quieras un contexto de 100K sin comprar memoria para ello, o no quieras mantener archivos de modelos.

Una prueba simple: cuenta las horas que pasaste en la configuración este mes y ponles un precio. Para un pasatiempo ese número es cero porque lo disfrutas. Para un producto con usuarios, es dinero real, y una factura de pago por token de unos pocos dólares puede ser menor. También considera el caso de falla. Si tu máquina en casa se reinicia por la noche, un endpoint alojado sigue respondiendo; un servidor local no.

Las dos no son excluyentes, y probar la prueba de uso alojada no cuesta nada. Ejecuta las mismas diez prompts en ambos y compara las respuestas y el tiempo que gastaste.

Preguntas y respuestas

¿Puede Ollama ejecutar modelos abliterados?

Sí. Ollama puede obtener las versiones publicadas o importar archivos GGUF que descargues. Una vez cargado, el modelo se sirve localmente con una ruta compatible con OpenAI bajo /v1.

¿Cuánta VRAM necesito?

Con la cuantización de 4 bits, calcula aproximadamente medio byte por parámetro más la caché KV. Un modelo de 8B cabe en aproximadamente 5 a 6 GB con contexto modesto, mientras que un modelo de 70B necesita bien por encima de 35 GB.

¿Es un modelo abliterado igual que el original?

No. El comportamiento de rechazo se elimina de los pesos, y la calidad o la estabilidad pueden variar ligeramente. Prueba una versión con tus propios prompts.

¿La API alojada funciona con clientes compatibles con Ollama?

Cualquier cliente que te permita configurar una URL base y una clave API funciona. Usa la URL base https://api.abliteratedapi.com/v1 y el modelo uncensored.

Tu clave está a un formulario de distancia

Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.

Obtener clave de API