No me ha tocado la lotería

Pues no, no me ha tocado la Lotería de Navidad.

Hacía bastante tiempo que no tocaba este repositorio. Tres años, para ser exacto.

Ultimamente he estado experimentando con la inteligencia artificial y el aprendizaje automático. En el trabajo utilizamos IA generativa para ayudarnos en el desarrollo de automatizaciones. Yo era bastante escéptico, pero he terminado por rendirme a la evidencia.

Los LLM siguen siendo lo que yo denomino cuñados digitales. Una IA generativa nunca dice no lo sé, siempre tienen una respuesta, aunque sea totalmente inventada.

Ollama

Llevo unos meses experimentando en casa con Ollama. Para quien no lo conozca, Ollama permite ejecutar en un entorno local modelos de LLM Open Source. Ollama en sí mismo está publicado con licencia MIT.

La herramienta es terriblemente cómoda, aunque está orientada a usuarios que se encuentren cómodos con una interfaz de línea de comandos. Recuerda bastante a Docker: tienes el comando ollama pull para descargar modelos, ollama run para ejecutarlos y ollama ps para ver los procesos en ejecución. Ejecutar un modelo implica tener un chat con él:

raul@casita:~$ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  signin      Sign in to ollama.com
  signout     Sign out from ollama.com
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
raul@casita:~$ ollama list
NAME                        ID              SIZE      MODIFIED
stable-code:3b-code-q4_0    e6b8d206c668    1.6 GB    3 days ago
mistral:latest              6577803aa9a0    4.4 GB    3 days ago
codestral:latest            0898a8b286d5    12 GB     3 days ago
devstral-small-2:latest     24277f07f62d    15 GB     3 days ago
ministral-3:latest          1922accd5827    6.0 GB    3 days ago
mistral:7b                  6577803aa9a0    4.4 GB    4 days ago
qwen2:1.5b                  f6daf2b25194    934 MB    4 days ago
ibm/granite4:small-h        2f8a7367d441    19 GB     10 days ago
deepseek-r1:8b              6995872bfe4c    5.2 GB    12 days ago
deepseek-coder:6.7b         ce298d984115    3.8 GB    2 weeks ago
llama3:latest               365c0bd3c000    4.7 GB    2 weeks ago
mixtral:8x7b                a3b6bef0f836    26 GB     3 months ago
gemma3:27b                  a418f5838eaf    17 GB     3 months ago
gemma3:12b                  f4031aab637d    8.1 GB    3 months ago
llama3.2:3b                 a80c4f17acd5    2.0 GB    3 months ago
raul@casita:~$ ollama run mixtral:8x7b
>>> Hola. Cuéntame un chiste.
¡Claro! Aquí te va un chiste cortito:

¿Por qué el pollo siempre lleva un paraguas?

Porque sabe que después de la lluvia, viene... ¡la sopa!

>>> /bye
raul@casita:~$

La verdad es que mixtral:8x7b no se puede ganar la vida como humorista.

Para saber qué modelos hay disponibles debes navegar a la página oficial de Ollama. Hay bastante variedad, desde modelos pequeños hasta gigantes. Por si no son suficientes, Ollama permite descargar también modelos desde Hugging Face, aunque solamente unos pocos de los casi 150.000 de la lista realmente funcionan con Ollama.

raul@casita:~$ ollama run hf.co/unsloth/Qwen3-0.6B-GGUF:Q8_0
pulling manifest
pulling e150ed544dfe: 100% ▕██████████████████████████████████████████████████████████▏ 639 MB
pulling eb4402837c78: 100% ▕██████████████████████████████████████████████████████████▏ 1.5 KB
pulling ca914fd65e10: 100% ▕██████████████████████████████████████████████████████████▏  178 B
pulling 7c5062e4c882: 100% ▕██████████████████████████████████████████████████████████▏  549 B
verifying sha256 digest
writing manifest
success
>>> Cuéntame un chiste.
<think>
Okay, the user wants a joke. Let me think of something light-hearted and funny. Maybe a common situation that's
relatable. Let's start with a funny situation. Maybe a person trying to solve a problem but getting stuck.

I should make the joke short and punchy. Maybe something about a cat or a dog. Let's say a cat trying to catch a
mouse. The cat is confused and tries different things. The mouse is escaping. That creates a funny contrast.

Wait, maybe add some elements to make it more specific. Like, the cat is trying to catch a mouse that's escaping.
The mouse is running away. The cat keeps trying but can't catch it. That's a classic setup. The joke could be that
the mouse is the one escaping, making the cat's attempts futile.

I need to check if there's a twist. Maybe the mouse is actually a trick or something. But since it's a simple
scenario, maybe just leave it as that. Let me put it all together in a funny way. Make sure it's clear and easy to
understand.
</think>

¡Claro! Aquí tienes un chiste:

Un perro intenta acertar a un gato que se cayó en una caja. El perro se da cuenta que el gato está en una caja de
neverjas y corre hacia ella. El gato, no sabiendo lo que está buscando, corre hacia el perro, y el perro, sin
entender, se acuesta.

¿Y qué te parece? ¡¡Es un chiste de perros y gatos! 🐾✨

>>> /bye
raul@casita:~$

Tengo que encontrar un modelo con mejor sentido del humor.

Interfaz amigable

Para tener una interfaz más amigable con Ollama en Linux o macOS, se puede utilizar Open WebUI, un proyecto de código abierto (con matices) que permite interactuar con Ollama a través de una interfaz web.

Open WebUI

No sé por qué insisto en lo del chiste.

¿Por qué digo “Linux o macOS”? Porque he descubierto hoy que la versión para Windows es una aplicación gráfica (no me había molestado en instalarlo en el Windows de mi casa).

Ollama Windows

Parece que el problema principal es el idioma; en inglés, los chistes tienen sentido por lo menos. La calidad puede ser caso de estudio.

La interfaz de Open WebUI es bastante mejor, en mi opinión.


Anterior Siguiente