Проблеми със stop token?
#1
by 3-3 - opened
Заредих модела във VLLM. Зададох въпрос, отговори добре. След това почна да повтаря до безкрай:
Може би трябва да се добави експлицитно <end_of_turn> като stop token, заедно с оригиналния <eos>, както са показали в примера в картата на модела. Т.е. в заявката към vLLM трябва да се сложи параметър:
stop_token_ids: [1, 107]
Да, вероятно това е бил проблемът в конфигурацията. Добавихме примeрна употреба на модела с vLLM в Model card секцията.
Ок, благодаря. Грешката е моя, че не си отварям очите 😃
3-3 changed discussion status to closed