pplx-embed-v1-0.6b-GGUF

import numpy as np
from llama_cpp import Llama
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim


model = SentenceTransformer(
    "perplexity-ai/pplx-embed-v1-0.6b",
    trust_remote_code=True
)
llama = Llama.from_pretrained(
    repo_id="mykor/pplx-embed-v1-0.6b-GGUF",
    filename="pplx-embed-v1-0.6B-F32.gguf",
    verbose=False,
    embedding=True,
    n_ctx=0,
)

text = """이젠 깨어나 설레는 이맘 따라
기다리던 오늘을 만들 거야

이 많은 시간을 난 흘리고 싶지는 않아
이제 나는 분명히 준비가 돼있는데
어떤 무기력함이 와도
나에겐 의미가 없을 만큼
또다시 wake up 더 wake up
달궈져 더 뜨겁게

굳이 봐줄 필요 없어 어차피 never give up
뭐가 덤벼오든 나는 어쩌라 하듯이
뭐든 할 수 있을 거 같아

이젠 깨어나 설레는 이 맘 따라
기다리던 오늘을 만들 거야
도시 사이에 피어나 이겨내온 꽃처럼
분명 피워낼 거야 나를

나에게 남아 있는 게 얼마 되지 않는 것 같아도
두 번 다신 내게 부끄럽지 않게
똑바로 봐

굳이 봐줄 필요 없어 어차피 never give up
뭐가 덤벼오든 나는 어쩌라 하듯이
뭐든 이길 수 있을거야

이젠 깨어나 설레는 이맘 따라
기다리던 오늘을 만들 거야
도시 사이에 피어나 이겨내온 꽃처럼
분명 피워낼 거야 나를

Time's up 몇 번을해도 overcharge
그만해도 된다 해도
No matter, no matter 숨이 차올라도
이 길을 바란다면

하늘 저 너머 뻗어가는 빛 따라
이 마음도 날려 곧 닿을 것만 같아
도시 사이에 피어나 이겨내온 꽃처럼
분명 피워낼 거야 나를"""


def int8_quantize(arr: np.ndarray) -> np.ndarray:
    qmin, qmax = -128, 127
    tanh_arr = np.tanh(arr)
    return np.round(tanh_arr * qmax).clip(qmin, qmax).astype(np.float32)


embed1 = model.encode(text)
embed2 = llama.embed(text)
embed2 = int8_quantize(embed2)
print(cos_sim(embed1, embed2).item())

0.9999861717224121