首先很感谢你的付出，这系列模型用在galgame翻译确实效果拔群，而且还长时间保持持续更新。vllm、sglang等推理的引擎，或对GGUF格式速度优化不良，或直接不支持GGUF。而llama.cpp首字响应速度、并发性能等，对比前述两种引擎，确实不能让人满意。能否考虑发布AWQ，GPTQ之类的格式？
· Sign up or log in to comment
