srs6901/GGUF-SOLARized-GraniStral-14B_1902_YeAM-HCT

GGUF — SOLARized-GraniStral-14B_1902_YeAM-HCT (Beta)

WARNING! llama-cpp-python (0.3.16) DO NOT SUPPORT mistral3 arch! Use this: https://github.com/ggml-org/llama.cpp

This repository contains GGUF-only artifacts for convenience (search / indexing / quick downloads).

• Main model repo (HF checkpoint + configs + tokenizer + templates + full docs):
  https://huggingface.co/srs6901/SOLARized-GraniStral-14B_1902_YeAM-HCT

If you need the original weights, tokenizer files, chat templates, or anything beyond GGUF inference — use the main repo above.

Quant	File	Link
Q4_K	SOLARized-GraniStral-14B_1902_YeAM-HCT_Q4.gguf	download
Q5_K	SOLARized-GraniStral-14B_1902_YeAM-HCT_Q6.gguf	download
Q6_K	SOLARized-GraniStral-14B_1902_YeAM-HCT_Q8.gguf	download
FP32	mmproj-SOLARized-GraniStral-14B_1902_YeAM-HCT_F32.gguf	download

Table of Contents

• RU
• EN
• License

RU

Это репозиторий только с GGUF для удобства поиска/индексации и быстрого скачивания.

• Основной репозиторий модели (полный HF чекпоинт + конфиги + токенизатор + шаблоны + документация):
  https://huggingface.co/srs6901/SOLARized-GraniStral-14B_1902_YeAM-HCT

Что это за модель (коротко)

SOLARized-GraniStral-14B_1902_YeAM-HCT — экспериментальный beta-мердж на базе Ministral-3-14B-Instruct-2512 (text+vision) с примесью SOLAR и IBM Granite.

Что лежит в этом репозитории

• *.gguf: готовые GGUF-кванты для llama.cpp/совместимых рантаймов.

GGUF / llama.cpp

• Если модель начинает печатать literal [/INST], это обычно проблема метаданных токенизатора (pretok/token types) — см. заметки в основном репозитории модели.
• Для мультимодальности в llama.cpp обычно нужен GGUF модели плюс отдельный mmproj GGUF (projector) — см. основной репозиторий.

Важно: мультимодальность llama.cpp для Pixtral/Mistral3 сейчас активно меняется; качество понимания изображений может быть некорректным даже если HF/Transformers работает правильно.

EN

This is a GGUF-only repository for convenience (search / indexing / quick downloads).

• Main model repo (full HF checkpoint + configs + tokenizer + templates + docs):
  https://huggingface.co/srs6901/SOLARized-GraniStral-14B_1902_YeAM-HCT

What this model is (short)

SOLARized-GraniStral-14B_1902_YeAM-HCT is an experimental beta merge built on top of Ministral-3-14B-Instruct-2512 (text+vision), with donor influence from SOLAR and IBM Granite.

Files in this repo

• *.gguf: ready-to-use GGUF quants for llama.cpp and compatible runtimes.

GGUF / llama.cpp notes

• If you see literal service tokens like [/INST] in output, it is almost always a tokenizer metadata issue (token types / pretok). See the main repo for the exact intended configuration.
• For multimodal usage in llama.cpp, expect a model GGUF plus a separate mmproj GGUF (projector). See the main repo.

Important: llama.cpp multimodal support for Pixtral/Mistral3 is under heavy development. In practice, image understanding quality may be incorrect even when HF/Transformers works correctly.

License

Apache-2.0. Base model licenses apply for the corresponding upstream artifacts.