GGUF 변환이 안되어요.
왕초보입니다.
ollama + open webui 로 RAG 만들어보려고 하고 있는데
한국어 임베딩 모델이 BGE-m3-ko 가 좋다고 하여
llama.cpp gguf 변환하려고 본 모델을 dragonkue_bge_m3_ko 폴더에 다운로드해서 아래 명령어를 실행했는데
python llama.cpp/convert_hf_to_gguf.py dragonkue_bge_m3_ko --outfile dragonkue-bge-m3-ko.gguf --outtype f16
아래 에러가 났는데 관련 에러를 웹 검색했는데 도저히 해결을 못하고 있습니다.
Traceback (most recent call last):
File "/home/elicer/temp/huggingface/llama.cpp/convert_hf_to_gguf.py", line 6216, in
main()
File "/home/elicer/temp/huggingface/llama.cpp/convert_hf_to_gguf.py", line 6210, in main
model_instance.write()
File "/home/elicer/temp/huggingface/llama.cpp/convert_hf_to_gguf.py", line 402, in write
self.prepare_metadata(vocab_only=False)
File "/home/elicer/temp/huggingface/llama.cpp/convert_hf_to_gguf.py", line 512, in prepare_metadata
self.set_vocab()
File "/home/elicer/temp/huggingface/llama.cpp/convert_hf_to_gguf.py", line 3816, in set_vocab
self._xlmroberta_set_vocab()
File "/home/elicer/temp/huggingface/llama.cpp/convert_hf_to_gguf.py", line 3606, in _xlmroberta_set_vocab
raise FileNotFoundError(f"File not found: {tokenizer_path}")
FileNotFoundError: File not found: dragonkue_bge_m3_ko/sentencepiece.bpe.model
해결할 수 있는 방법 알 수 있을까요? 만드신 bge-reranker-v2-m3-ko 모델도 guff 변환할 때 같은 에러가 발생합니다.
혹은
gguf 포맷 모델도 레포지터리에 올려주실 수 있으신지요?
llama.cpp 에서는 bert, nomic-bert 아키텍쳐 모델만 지원한다네요.
근데... 아래 것이 있네요. 호호
너무 늦게 답변하는 것일지도 모르겠군요.
우선 제 모델을 사용해주셔서 감사합니다.
gguf 변환 모델을 다른 분이 올려주셔서 에러를 해결하신 것 같군요..
혹시 또 다른 에러 사항 있으면 언제든지 문의주세요!