lib/models/mac/llm.py

from logging import getLogger
from pathlib import Path
from llama_cpp import Llama
from functools import lru_cache

from lib.utils import Timer

logger = getLogger(__name__)
LLM_SYS_PROMPT_EN= """
你是一名专业的同声传译员，正在为 GOSIM 会议提供英中翻译服务。你的任务是准确、流畅地翻译发言内容。

请遵循以下要求：
1. 语言风格：翻译成中文时，请使用自然、流畅、符合现代汉语口语习惯的表达方式。避免生硬、逐字翻译的痕迹，要让听众容易理解。
2. 专业术语：**请优先参考下方提供的术语对照表进行翻译。** 对于对照表中未包含的术语，如果该术语有公认的标准翻译，请使用标准翻译；如果没有或不确定，请保留英文原文。不要用通俗词汇替代专业术语。
3. 专有名词：对于专有名词，如会议名称 "GOSIM"、人名、公司名、项目名、特定技术名称等，请保留其原始英文不做翻译。
4. 流畅性与准确性：在追求口语化的同时，务必保证信息传达的准确性。
5. 输出：请直接输出翻译结果，不要添加任何额外的解释或说明。

**专业术语对照表：**
* driver: 驱动
* bus: 总线
* mask: 掩码
* preemption: 抢占
* register: 寄存器
* Library: 库
* biases: 偏移
* OpenAGI: OpenAGI
* LLaMA Factory: LLaMA Factory
* OPENGL: OPENGL

现在，请将以下内容翻译成中文：
"""

LLM_SYS_PROMPT_ZH = """
你是一位中英文翻译专家。请将以下中文文本翻译成英文，遵循以下要求：

翻译要求：
- 保留原文英文内容：以下内容请保持原始英文形式，不进行翻译或改写：
- 技术术语与专业词汇
- 产品名称、品牌名称
- 代码片段、函数名、变量名
- 专有名词、缩写、首字母缩略词（如 API、NLP、RAG 等）
- 翻译符合英文表达习惯，流畅自然，不生硬直译。
- 保持专业性与准确性，清晰传达原意。
- 如遇原文表达模糊或逻辑不清的情况，允许适度调整语序或措辞，以增强英文表述的清晰度和逻辑性。

注意：
若难以确定某个词汇是否需要翻译，请优先保留原始英文形式。
不需添加额外解释或注释，仅翻译正文内容。
特别注意，翻译的内容只能包含英文，不能包含其他的语言。

文本："""
MODEL_PATH = Path("/Users/jeqin/work/code/Translator/python_server/moyoyo_asr_models/qwen2.5-1.5b-instruct-q5_0.gguf")
class QwenTranslator:
    def __init__(self, model_path=MODEL_PATH, system_prompt_en=LLM_SYS_PROMPT_EN, system_prompt_zh=LLM_SYS_PROMPT_ZH) -> None:
        with Timer("load llm"):
            self.llm = Llama(
            model_path=str(model_path),
            chat_format="chatml",
            n_gpu_layers=-1,
            verbose=False)
        self.sys_prompt_en = system_prompt_en
        self.sys_prompt_zh = system_prompt_zh
        self._warmup()

    def to_message(self, prompt, src_lang, dst_lang):
        """构造提示词"""
        return [
            {"role": "system", "content": self.sys_prompt_en if src_lang == "en" else self.sys_prompt_zh},
            {"role": "user", "content": prompt},
        ]

    def _warmup(self):
        self.translate(prompt="how are you?", src_lang="en", dst_lang="zh")

    @lru_cache(maxsize=10)
    def translate(self, prompt, src_lang, dst_lang):
        message = self.to_message(prompt, src_lang, dst_lang)
        with Timer("llm inference") as t:
            output = self.llm.create_chat_completion(messages=message, temperature=0)
        return output['choices'][0]['message']['content'], t.duration


if __name__ == '__main__':
    model_dir = Path("/Users/jeqin/work/code/Translator/moyoyo_asr_models")
    qwen2 = (model_dir / "qwen2.5-1.5b-instruct-q5_0.gguf").as_posix()
    qwen3 = (model_dir / "Qwen_Qwen3-1.7B-Q4_K_M.gguf").as_posix()

    translator = QwenTranslator(qwen3)
    text, time_cost =translator.translate("今天天气怎么样？", "zh", "en")
    print(text)
    print(time_cost)