app.py

import gradio as gr
from llama_cpp import Llama

# Carregar o modelo (n_ctx é o tamanho da memória de contexto, 2048 é seguro para 16GB RAM)
llm = Llama(
    model_path="./models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf",
    n_ctx=2048,
    n_threads=2 # Ajustado para as 2 vCPUs do Space básico
)

def respond(message, history):
    prompt = f"System: Você é uma IA prestativa.\nUser: {message}\nAssistant:"
    output = llm(prompt, max_tokens=512, stop=["User:", "\n"], echo=False)
    return output["choices"][0]["text"]

gr.ChatInterface(respond).launch(server_name="0.0.0.0", server_port=7860)