IA en Mac con Llama

Llama o más exactamente Llama 2 que es la versión que vamos a utilizar, es una de las inteligencias artificiales más habitualmente usadas por muchos desarrolladores y curiosos de la IA, los motivos son varios, pero el principal es que es de código abierto.

Sí, con Llama, y gracias a su «apertura» podremos ejecutar de forma local en nuestros ordenadores Mac la inteligencia artificial de una forma mucho más privada que lanzar prompts en servidores remotos que a saber que hacen y cómo almacenan nuestras preguntas y conversaciones.

Este nos responderá mediante texto en la propia línea de comandos, permitiendo desde respuestas de chat a la redacción de largos textos que podamos utilizar inclusive profesionalmente, además lo hará en español si así se lo pedimos.

Llama2 no es el único modelo que vamos a poder utilizar con el programa que aquí te mostramos pero es desde luego uno de los modelos de Inteligencia Artificial más interesantes de la actualidad, es un modelo de inteligencia artificial desarrollada por Meta, los de Facebook.

Para usar Llama2 en nuestros ordenadores Mac podremos hacerlo mediante una sencilla app, llamada «ollama», una de las formas más fáciles de experimentar con la inteligencia artificial sin apenas conocimiento informático alguno.

Requisitos para la IA local en Mac

A diferencia del uso de IAs remotas, como es el caso de ChatGPT, Bing AI, Windows Copilot, Dall-E o de cualquier otra IA que se ejecute en servidores remotos en una IA local precisa de recursos propios en tu ordenador.

Claro que la ventaja es evidente, tendrás una privacidad total, los textos que generes a través de una IA local no quedarán archivados en los servidores de ninguna gran compañía y nadie podrá hacer un seguimiento sobre ellos.

Además, podrás estar doblemente tranquilo, también en cuanto a los recursos necesarios en tu Mac, ya que lejos de necesitar un flamante Mac con un procesador M3 y 18 Gb de RAM te diré que los requisitos mínimos para poder ejecutar ollama en un Mac son relativamente bajos.

Realmence con tener el sistema operativo macOS Big Sur o superior y un equipo de 2014 o superior bastará, bueno al menos a mi otros usuarios podrán pensar que es demasiado lenta en sus respuestas.

Yendo a los requisitos, te diré que en cuanto a RAM y procesador yo he podido ejecutar Ollama en un MacBook Pro de 2014 con un procesador de doble núcleo y cuatro hilos i5 a 2,6 Ghz acompañado de 8 Gb de RAM. También lo he probado con un i7 y 16Gb y existe una clara mejora. En ambos lo he realizado bajo macOS Sonoma hackeado, ya que no era soportado por mis viejos Mac.

La velocidad de generación de texto obviamente no era en ninguno de los dos casos en absoluto destacable, pero funcionar funciona.

Podemos descargar la app oLlama desde la dirección de internet: https://direccion.online/a0cmn

La descarga de la app de Ollama que efectuaremos será probablemente en un archivo comprimido bajo zip, fichero que una vez descargado deberemos descompimir en el Mac.

La descompresión se realiza con un doble clic sobre el fichero zip descargado, esto nos creará una app en el mismo directorio de descargas del Mac, el nombre del archivo una vez descomprimod será Ollama.app.

Para instalarla en nuestro Mac movemos esa app a la ubicación de Aplicaciones, donde la soltaremos para que se instale en nuestro sistema.

Ahora podremos ejecutar la nueva app instalada haciendo un clic sobre ella en el Launchpad, lo que hará que se produzca una verificación de la app y el típico mensaje de seguridad que deberemos aceptar.

Tras esa ventana de bienvenida que te capturo por aquí al lado con un dibujo de una Llama podremos pulsar en el botón Next.

Acto seguido ollama nos pedirá que instalemos ollama en la línea de comandos, ya que su uso por el momento se limita a lanzarle preguntas y prompts a través de la línea de comandos.

Para ello lo que deberemos pulsar el botón Install, pero en ese momento, tras el clic hay que tener en cuenta que nos solicitará la clave de administrador, se la proporcionamos y listos.

Ahora cambiará la pantalla y nos mostrará otra donde nos indicará el comando que deberemos lanzar en una ventana de la Terminal de Mac para poder cargar el modelo llama2. y comenzar a usar una inteligencia artificial en nuestros Mac de forma totalmente Local.

Puedes copiar ese comando en el portapapeles de forma rápida y fácil mediante el botón de «portapapeles» que hay al final del comando.

Si observas la barra superior verás que se ha añadido un icono de una llama y es que Ollama.app se ejecutará con el inicio del Mac, aunque esto es algo que dependiendo del uso que le deseemos dar a la IA de Ollama podríamos desactivar.

También tendremos una notificación de macOS pendiente de lecutra informándonos conforme ollama.app se iniciará con el sistema.

Podemos descartar la notificación para tener la pantalla más limpia y seguir avanzando con el lanzamiento de la IA en nuestro Mac mediante una ventana de terminal.

Ojo porque la primera vez que lo lancemos tardará bastante en estar lista, sólo la primera vez, y aquellas veces que cambiemos de modelo de IA.

El comando para ejecutar la IA en el Mac es el siguiente:

ollama run llama2
        ó
ollama run llama3

Esto hará que comience una larga descarga, los modelos como llama 2 ocupan bastantes gigas, alrededor de 4 Gb, los de Llama3 ocupan algo más pues el modelo más pequeño es de 8 billones de parámetros.

Ahora nuestra IA local ya está lista para respondernos, le podemos preguntar cualquier cosa, inclusive en español que al poco nos responderá.

Es ahí en la velocidad de la respuesta donde se aprecia la gran potencia de los nuevos procesadores Apple Silicon, pero por lo demás y aunque sea un equipo ya con algunos años nos escribirá las respuestas.

Otros comandos

Si en la línea de comando de ollama escribimos una contrabarra y un interrogante, es decir /? se nos mostrarán los diferentes comandos y posibilidades de ollama.

Estos son los principales comandos

/set     --- > Fijar variables
/show    --- > Mostrar información del modelo e IA
/bye     --- > para salir
/?      --- >  para mostrar la ayuda

Cada comando puede tener ciertos parámetros

/set parameter … Set a parameter
/set system Set system message
/set template Set prompt template
/set history Enable history
/set nohistory Disable history
/set wordwrap Enable wordwrap
/set nowordwrap Disable wordwrap
/set format json Enable JSON mode
/set noformat Disable formatting
/set verbose Show LLM stats
/set quiet Disable LLM stats

/show

/show info Show details for this model
/show license Show model license
/show modelfile Show Modelfile for this model
/show parameters Show parameters for this model
/show system Show system message
/show template Show prompt template

Cambio de modelo

Hasta aquí el modelo que hemos utilizado es el modelo Llama 2 estándar, pero con Ollama podremos ejecutar otros modelos de inteligencia artificial como Mistral, el cual es uno de mis preferidos en la actualidad.

Para utilizar mistral deberemos parar el modelo iniciado, algo que podemos hacer desde el terminal del Mac escribiendo un bye:

/bye

Y aunque sea más bruto también podremos salir presionando el combo ctrl+c y escribir el siguiente comando, que es el mismo que el anterior pero con el modelo mistral en lugar de llama2: