Still looping and getting stuck thinking after new update
Hello
I've tried both
For general use-case: --temp 1.0 --top-p 0.95
For tool-calling: --temp 0.7 --top-p 1.0
Repat penalty on, off , 1, 1.1. Still my GLM 4.7 flash gets stuck looping while thinking.
Screenshot attached.
This is particularly bad when using with agentic workflows where re-trigger takes a long time due need of a reload. Any ideas what can be done?
The good trigger I found is just saying "Calculate the Integral of root of tanx"
i dont know if this will help but i found that setting top k sampling to 50 might have helped fix the repeating issue after testing both with your settings and trigger prompt.
i used 50 because i saw lmstudio had set it to that value: https://lmstudio.ai/models/zai-org/glm-4.7-flash
i also saw another configuration where they set top k to 0, temp 1.0, and top p 1.0
Same problem - it's exacerbated with ngram speculative decoding.
I don't where to post this but I've been having issues with either loop or stuck. It is chatty and keeps thinking. Example output:
multimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti’tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmulti'tmultimulti'tmulti'tmulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmulti'tmultimultimulti'tmultimultimultimultimultimultimultimultimultimultimulti’tmulti'tmultimultimulti'tmulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti’tmulti'tmultimulti'tmulti’tmultimultimultimultimultimultimulti'tmultimultimulti'tmulti'tmultimulti'tmulti'tmultimultimultimultimultimultimultimultimultimultiraj�multimultimultimultimulti'tmultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti’tmultmultimultimultimultimultimulti'tmultimultimultimultimulti'tmultimultimultimultimulti'tmultimultimultimultimulti't =>
multimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti’tmultimultimultimultimultimultimultimultimultimulti’tmulti’tmultimulti'tmulti’tmultimultimultimultimultimultimultimultimultimultimulti’tmultimultimultimultimulti'tmulti'tmulti'tmultimultimultimultimulti'tmulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti’tmultimultimultimultimultimulti'tmultimulti'tmulti't Fargomultimultimultimulti'tfarmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti’tmulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti�multimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti'tmultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimultimulti
I dont know why, but llama.cpp is working well while LMstudio causes issues. Maybe it has something to do with context shift?