実行時エラーについて

#1
by alfredplpl - opened

素晴らしいモデルをありがとうございます。

さて、どうもサンプルコードを実行するとルーターの周りでエラーが発生するようです。
これを回避するには以下のように、output_router_logits=Falseを入力すると良いらしいです。

outputs = model.generate(
    **inputs, 
    max_new_tokens=8192, 
    output_router_logits=False
)

ご対応よろしくお願いします。

Nomura Research Institute, Ltd. org

お試しいただき、誠にありがとうございました。

8d38e95 で対応させていただきました。

nriin-fsim changed discussion status to closed

Sign up or log in to comment