Abobasnik/HiperAI-v2.4-14.5B-UP

HiperAI v2.4 14.5B UP — GGUF Version

Это квантованная версия модели HiperAI-v2.4 на архитектуре Qwen2 (14.5 миллиардов параметров). Благодаря формату GGUF, модель теперь можно запускать на обычном домашнем компьютере или даже мощном смартфоне.

🛠 Особенности версии

• Формат: GGUF (llama.cpp)
• Метод квантования: Q4_K_M (оптимальный баланс между скоростью и качеством ответов).
• Реальный размер: ~14.5B параметров (в отличие от ошибочного отображения 10B в исходных файлах).
• Размер файла: 6.38 ГБ.

🚀 Как запустить

1. На ПК (Windows/Mac/Linux)

• Скачайте LM Studio или Ollama.
• Перетащите файл hiperai-v2.4-Q4_K_M.gguf в приложение.
• Используйте системный промпт (например, "Ты — полезный ИИ-ассистент").

2. Через терминал (llama.cpp)

./llama-cli -m hiperai-v2.4-Q4_K_M.gguf -p "Привет! Расскажи о себе."