md/ollama.md

@@ -3,6 +3,7 @@ title: Ollama
 ---
 
 
+
 Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity_. A continuación se muestra un ejemplo de _script_ de cola para ejecutar Ollama:
 
 ```
@@ -24,9 +25,8 @@ module add singularity
 SIF_DIR=/opt/ohpc/pub/containers/IA
 
 singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve
-singularity instance list
 singularity exec instance://ollama.instance ollama serve&
-#singularity exec instance://ollama.instance ollama pull llama3.3
+
 singularity exec instance://ollama.instance \
 curl http://localhost:11434/api/generate -d '{
   "model": "llama3.3",
@@ -34,3 +34,31 @@ curl http://localhost:11434/api/generate -d '{
   "stream": false
 }'
 ```
+
+## Ollama interactivo
+
+Si quisiera trabajar de manera interactiva con Ollama, primero debe iniciar una sesión interactiva:
+```
+srun -p gpu --pty bash -l
+```
+Una vez adentro del nodo gpu tiene que proceder a ejecutar los siguientes comandos:
+```
+module purge
+module add nvhpc gnu
+module add singularity
+SIF_DIR=/opt/ohpc/pub/containers/IA
+
+singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve
+
+singularity exec instance://ollama.instance ollama serve&
+               curl http://localhost:11434/api/chat -d '{
+                             "model": "llama3.3",
+                          "messages": [ { "role": "user", 
+                           "content": "why is the sky blue?" } ],
+                            "stream": false 
+               }'
+
+
+```
+
+