harrier-oss-v1-270m-GGUF

import numpy as np
from llama_cpp import Llama
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim


model = SentenceTransformer(
    "microsoft/harrier-oss-v1-270m",
)
llama = Llama.from_pretrained(
    repo_id="mykor/harrier-oss-v1-270m-GGUF",
    filename="harrier-oss-v1-270M-BF16.gguf",
    verbose=False,
    embedding=True,
    n_ctx=0,
)

text = """기타 줄이 괜히 혼자 울리는 소리가
날 일으키는 것 같아
오늘따라 불은 꺼져 햇살을 받는
방안이 뭔가 허전해

바람아 기억해 줄래
흥얼거릴 때 이 맘을 바라니까
조금 더 멀리 멀리에 어디든 닿게
내 전부를 전부 다 줄게

아무것도 들리지 않더라도
내 안엔 너를 위한 음이 들려
설레서 더 미루기 싫다해도
우선 마이크에만 속삭일게
Ooh-oh, ooh-oh

좀 미안해 아직 준비가 안 된 것 같아
가끔은 혼자 쉬곤 했어
널어논 맘들은 이미 전부 말라
내가 갈 곳을 정했으니까

달빛아 기억해줄래
꿈에서 몰래 부를지 모르니까
조금 더 멀리 멀리에 어디든 닿게
내 전부를 전부 다 줄게

아무것도 들리지 않더라도
내 안엔 너를 위한 음이 들려
설레서 더 미루기 싫다해도
우선 마이크에만 속삭일게
Ooh-oh (oh) ooh-oh (oh) ooh-oh"""


embed1 = model.encode(text)
embed2 = np.array(llama.embed(text), dtype=np.float32)
print(cos_sim(embed1, embed2).item())

0.9999479055404663