Dockerfile

FROM python:3.11-slim

ENV PYTHONUNBUFFERED=1 \
    PORT=7860 \
    LLAMA_NO_CUDA=1 \
    LLAMA_NO_METAL=1 \
    LLAMA_NO_VULKAN=1 \
    USE_MMAP=1 \
    USE_MLOCK=0 \
    FLASH_ATTN=0

RUN apt-get update && apt-get install -y --no-install-recommends \
    curl \
    ca-certificates \
    && rm -rf /var/lib/apt/lists/*

# Instalacja wszystkich niezbędnych pakietów
RUN pip install --no-cache-dir \
    huggingface_hub>=0.24.0 \
    uvicorn==0.30.1 \
    fastapi==0.115.0 \
    starlette==0.37.2 \
    sse-starlette==2.1.0 \
    pydantic-settings \
    llama-cpp-python==0.3.2 --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

WORKDIR /app
COPY app.py .

EXPOSE 7860

CMD ["python", "app.py"]