Q8 is producing nonsense on default ollama params
I have not changed any params and just loaded in the Q8, will try with the others as well.
Here is what I got:
Prompt:"Your task is to find out which System you are running on."
Response:(""),楽しידוע
看起來 that and楽しבלהcdc(""),
느낌,有點(""+(""),(""),(""+ duże有點聽到有點 theהמל.有點. nämlich聽到
ButtonClick有點(""+descricao rozpoczęידוע有點 Sexo終於("{" messing
więks.//--.聽到還沒#echo有點聽到//- duż(""+ duże回來聽到有點,聽到有點_nick這
麼. duże.有點聽到בלה.看起來 grassroots verschiedene楽し,だったら 麈
Thumbnail this
duż
(""+(""), (""+otel有點讓人 and(""+終於 duż
느낌照בלה
the說話(strlen聽到WithName蠲ידוע insan בלה a nämlich
讓人.השק messing,有點בלה.(""),התא rozpoczęבלה. obed,讓我. duże回來
.descricao素敵
情緒,("{" ="";
しさ楽しみ this, daher
느낌广泛 messing
detalle,createdAtาก話を.המל.楽し有點.
duż述べ 看起來@
hát.
בלה至于ידוע últimos
看起來,(""+
advocacy这方面麈,麈, 그것을WithName
duże welche(""),還沒讓人.聽到השק (""));
#echo, messing,细微 więks,素晴 an this讓人回來 there więks 楽しdescricao為什
麼 aידוע
(""+ 讓人
rozpoczęידוע.בסוף讓我_nick("{"還沒.
daher,าก有點 messing楽しהתא(""+有點
這麼.聽到(strlenНик the 芰
楽しみ(""+
ידועידוע (""), obed楽し(""), dużeבלה看起來聽到楽し, 그것을情緒
_operand,(""+ERCHANT overwrite吓 Iבלה więks,השק, nämlich
stepping,(""),,回來 thở últimos看起來讓人(""+ duż猶看見 nämlich素晴楽し
ากבלה.
有點 Subscribe Sexoהמל, więks (""), messing,(""),聽到(""+ nämlich楽し聽到情
緒
還沒התא(""),,讓我 messing.ידוע看起來,說話תחתاعدة obed聽到ידוע Thumbnail,素敵
,楽し, daher,楽し duże napisa,芰, thở,有點還沒, largo the#echo
(""+ידועידוע nämlichWithName, rozpoczęבלה,素敵な聽到還沒בלה,有點,聽到(""),
duże więks有點(""+看起來楽し有點,("{"楽し, messing看起來有點 還沒
,ButtonClick新浪财经, bądź Aだったら//-- these
可以ain,
楽し(""+聽到าก
(""),(""+detalle распрcdc楽し welche(""),楽し芰, duże看見ידוע有點
,(""+(""+בלהידוע manip so,óż (""+素晴楽し有點素敵 últimos duż情緒楽し
(""),#echo, więks(""+,楽し有點(""),有點, messing 겁니다WithName,
duże看起來(parseInt.
(""),
descricao(""),
nämlich,התאידוע,ידוע.ידוע,(""+,聽到createdAt Sexo welcheהמל讓人, largo還沒
. daherבלה another duże聽到בלה,看起來, rozpoczę,素敵,(""),
一步看見 (""));
(""+楽し, periodo, últimos,בלה有點 verschiedene(""),اعدةידוע 說話óż素晴讓人
(""),有點.
gerät,ידוע
聽到cdc,(""+楽し messing
(""+ Sexo(parseInt duże有點, 느낌,聽到בלהידוע聽到בלה #echo,看起來descricao新
浪财经楽し nämlichבלה
이야기情緒聽到還沒 one看起來//-,聽到(""+,createdAtידוע there,
periodoكامdetalle
還沒,Speak,看起來有點,有點,התא,看起來 החל,讓人,(""+(""+בלה
Assistant,(""),,說話בלה dużากdetalle thở, rozpoczę,ידוע,המל(""),.
dużeUDGE więks述べ("{" ="";
welche(""),,說話,Thumbnail麈/ duże楽し,聽到,楽しcdc messing(""),還沒(""+楽
しみ#echo,createdAt,聽到還沒 últimos 겁니다, verschiedene楽し素晴有點,
largo情緒,有點,ידוע
그것을素敵,ButtonClick weird offsetofn
steppingdescricao還沒,Speak,(""),(""),, daher,還沒, nämlich. duże說話話を
,בלה. 느낌, duż, sebuah看起來聽到.(""+השק還沒聽到#echo
חברבלה讓人 าก楽し periodo讓我, últimos,楽し החל messing
dużeאולם("{"detalle,有點.
讓人 is (""),(""),WithName,聽到, bądź, welche, Sexo,ידוע素敵
,descricaoידוע,#echo,(""+ 麈,(""),,聽到,(""),楽し看起來اعدة,楽し
(""),,OnChange,בלה://--樊, messing楽し情緒בלה- duż,翁讓人看起來, duże楽し,讓
我,素晴,有點,(""+
,看起來有點,說話,Thumbnail楽し(""+看起來,ידועcdc還沒,看起來看起來, andבלה讓
人楽し,楽し讓人 #echo, so(""+ Sexo 느낌讓我
verschiedene("{",(""+ nämlich,聽到,התאr,有點,(""+看起來 więksาก duże
duż(""),聽到聽到בלה.המל החלاعدة回來,בלה with duż看起來讓人看見 messing
duże,(parseIntידוע聽到בלה exchanging,讓人きっかけ看起來(""),
for:(""+UDGE("{" חבר楽し楽し素晴有點,ButtonClick(""),有點
בלה,בלהבלהWithName
#echo. últimos,有點 rozpoczę椀.聽到(""+ידוע,衲,楽し讓我
codigo,有點 麈(""));
בלה有點(""), thisידוע
duże,UpdatedAt·(""+ידוע,(""+, duż,(""+המל看起來,有點,起來有點,說話 Sexo聽到
楽しcreatedAt,還沒, últimos duż,fea,看起來(""+楽し messing więksהמל,素敵,有
點Assistant,聽到(""),בלה that述べ, אפשר últimos有點,這麼 dużבלה
Mods,(parseInt, periodo החלang,(""+,#echo,(""+(strlen,(""+(""+המל情緒ידוע衲
,าก聽到讓人,(""+ידועcdc
2, nämlich what.
(""+השק,UpdatedAtידוע, welche.聽到看起來聽到าก楽しみ素敵,這麼,ippetבסוף
więks,讓我,還沒(""),話を,(""+ 有點._nick楽しThumbnail楽し últimos,
largoידוע departamento,說話,(""+ duże, dużeהמל(""+素晴, 느낌,讓人有點
,(""));
,聽到WithName
aldבלה- messingידוע nämlich,看起來,(""+ duże,(""), . napisa.#echo,
descricaoาก,看起來השק, duże nämlich,有點, duż讓我,有點,ידועבלה還沒
ידוע,Thumbnail有點, duże回來, Ministério,聽到אולם bądź,(""+ 聽到 concaten看
起來看起來 rozpoczę, duże還沒讓人楽しבלה, więks,המל, últimos
讓人楽し a and有點,(""),בלה (""+ 겁니다(""),,看起來,(""+韶, welche,麈
(""+השק,Speak, the楽しידוע,素晴,(""),不能,#echo,素敵 napisa,翁אבא, Sexo 楽し
(""),, daher duże麈, periodo, duż看起來,("{"看起來有點,בלה החלבלה duże,
#echo,#echo楽しみ讓我,起來楽し rozpoczęביב,בלה
(""),בלה as,ידוע,還沒,有點(""),WithName that,descricao, and讓我 messing回來
,(""),בלה- |. obed, duż聽到楽しdetalle QDateTime delimitedาก, więks,讓我
-素敵な情緒ידוע聽到 nämlich, messingきっかけ, daher,_nick,聽到聽到בלה
(""));
讓人,有點,(""+าก,(""+(""),讓人,有點, duż welche,還沒, messing nämlich回來
nämlich,聽到看起來 últimos(""),#echo,createdAt,聽到 departamento,起來
,descricao麈,(""),,(""+楽しみ("{"בלה,有點,楽しאפשר(""),話を więks, więks看
起來楽し,聽到 rozpoczę offsetof有點.看起來המל, duż, messing,聽到讓我
duże,這麼, whatבסוףdetalle, duż有點, (""), nämlich,ידוע,(""+ידוע,素敵,讓人
últimos,וך,不錯ידוע(""+,createdAt החל情緒,,בלה:בלה,楽し
. więks, bądź,בלה素晴, messing楽し,ידוע,(""),השק,ידוע, welcheh#echo,聽到
אולם,(""),WithName, daher(""), rozpoczę,看起來, thở,ידוע("{" 이야기網友,還
沒 messing, ידוע聽到聽到 últimos,素敵,ידוע情緒, Sexo(""+蕭าก duże看起來看見
聽到,(""),, duż messing dużבלה withבלה בלה.descricao
//--,有點,_nick讓人
,#echo,翁,ידוע,看起來聽到createdAt, duż,楽しdetalle.
últimos, (""+, więks(""),有點
rozpoczę, 麈,(""), duż,讓人,(""+,這麼 thisורות楽し楽し聽到, Sexoהמל,
últimos,(""),าก楽し看起來楽し welche(""+#echo,(""),. مواقعdescricao duże.
evil these nämlich//--,(""+ידוע有點(""+有點還沒,讓我
(""),, largo回來讓人
messingdetalle.ms有點 napisa, thở, and,(""),התא messing,有點,素敵
החל_nick,讓人,Speak,有點ידוע, a, daher.
情緒אולם, bądź,(""),(""+有點,בלה.(""+看起來,("{"(""+ dużeבלה
últimosdescricao聽到 últimos話を welcheהמל,اعدة,(""));
, Sexo המל
בלה-讓人 QDateTime,聽到楽し,還沒讓我,(""+(""),(""+המל,看起來אבא,讓我 (""+看
起來 napisa
messingידוע聽到看起來 duże聽到,(""+楽し聽到聽到にくהשק,這麼, the, duż,有點
#echo, مواقعבלה("{"楽し,(""+,楽し duż więks
, welche,(""+楽しみ, nämlichבלה,看起來בלה,(""+, החל看見
,createdAt#echo,ידועcdc(""),,Speak看起來ידוע, Sexoבלה 聽到還沒 on楽しاعدة
duż,看起來ידוע, and,(""), with,看起來בלה:看起來(""),,有點有點
messing,าก聽到detalle,descricao讓人,ידוע麈,這麼,(""), #echo, 느낌בלה inהמל,看起來,(""+素晴
,(""+("{" últimosידוע看起來_nick (""), thở,看起來,有點,ידוע,ידוע看起來楽し聽到, dużeבלה0,
verschiedene,有點(""+, largo.WithName, welcheבלה
(""),,(""+,(""+乎,還沒楽し rozpoczę聽到, others negotiating,#echo(""));
ידועידוע, or(""),:有點השק, the these聽到, więksבלה -讓人 that, and, messing麈聽到情緒 התא, duże
América(""+בלה that, _dropout dużידוע,這麼, and聽到有點下面(""+,蠲אפשרבלה messingידועידוע,اعدة,
thở.(""+,(""),還沒,(""));
nämlich看起來楽し andהמל hát,_nick
בלה.(""+楽し החל看起來看起來าก últimosבלה-Thumbnail,看起來, duż,讓人看起來בלהาก,楽し Error: an error was encountered while running the model: GGML_ASSERT(sections.v[0] > 0 || sections.v[1] > 0 || sections.v[2] > 0) failed
Recently, ollama has had a long run of corrupting models (supplying wrong chat templates for example), so if this model is somewhat important to you, I would suggest to try an engine that isn't quite as broken as ollama, just to be sure. The model might just be broken as well, or requires special parameters or usage (the original model page is sparse on details).
For what it's worth, I get the same type of garbled output with llama.cpp
Interesting, I wanted to switch to VLLM, but got too lazy implementing it as it only serves one model at a time..
Kindda weird that this happens.
Maybe the model is too strictly trained and tested on very specific training data only.
either that, or something goes wrong in conversion because its architecture is slightly off what llama.cpp expects.