如题,我测试感觉多轮对话效果不佳?
支持的,我们的infer.py脚本还没有来得及加上多轮对话,但加载到各类webui或者我们的hf space都是可以多轮对话的
那这个多轮对话的格式是咋样的,就是通过api使用的话
格式可以参考:https://huggingface.co/spaces/LinkSoul/Chinese-Llama-2-7b/blob/main/model.py#L32
api接口的用法可参考:https://github.com/LinkSoul-AI/Chinese-Llama-2-7b#api%E9%83%A8%E7%BD%B2
谢谢,我试了一下多轮的,感觉推理很慢,越到后面越慢,这个正常吗
· Sign up or log in to comment