Не работает gguf ;(
#1
by DmitriiLi - opened
Не работает gguf, вместо диалога выдаёт что то вроде: ць]]...ц]]..цц..Присоединяйтесь.. знают.]]ц.[[ц..]]з.{{. .](.. _. .. _. .. _. _. _. _. .. _. _. _. _ _. _. _. _. _. _. _. _. . _. _. _. _. _. .. _. _
Так же плохо работает и gguf от mradermacher (mradermacher/YankaGPT-8B-v0.1-GGUF)
При этом оригинальный safetensors работает отлично (secretmoon/YankaGPT-8B-v0.1).
Что я делаю не так господа?
Попробуй мб другую версию koboldcpp/llama.cpp/другого фреймворка, который используешь. Я использовал ггуфы эти же давно, норм все генерировалось.
Ну или если скачал уже safetensors то просто конвертером из llama.cpp делаешь собственный Q8 gguf
python3 convert_hf_to_gguf.py /path/to/safetensors —outtype q8_0