p988744/eland-entity-sentiment-zh-gguf

Eland Entity Sentiment GGUF - Chinese Entity-Level Sentiment Analysis

GGUF quantized version of the Eland Entity Sentiment model for Ollama and llama.cpp deployment.

Available Files

File	Size	Quantization	Use Case
eland-entity-sentiment-zh-q8_0.gguf	4.0 GB	Q8_0	Recommended - Best balance of size and quality

Performance

Metric	Score
Accuracy	72.00%
Macro-F1	70.80%

Per-Class Performance

Class	Precision	Recall	F1-Score
正面 (Positive)	86%	78%	82%
負面 (Negative)	94%	62%	74%
中立 (Neutral)	46%	72%	56%

Ollama: No System Prompt Required

使用 Ollama 時不需要額外提供 System Prompt，Modelfile 已內建。

直接輸入實體和文本即可：

ollama run eland-entity-sentiment-zh "分析以下文本對「台積電」的情感傾向。

文本：台積電營收創新高，市場看好AI需求持續成長。

請以 JSON 格式回答，包含 entity_sentiment（實體情感）。"
# 輸出：{"entity_sentiment": "正面"}

如果使用 vLLM 或 Transformers，請參考 vLLM 版本 的 System Prompt 說明。

Usage with Ollama

Quick Start

# Download GGUF and Modelfile
wget https://huggingface.co/p988744/eland-entity-sentiment-zh-gguf/resolve/main/eland-entity-sentiment-zh-q8_0.gguf
wget https://huggingface.co/p988744/eland-entity-sentiment-zh-gguf/resolve/main/Modelfile

# Create Ollama model
ollama create eland-entity-sentiment-zh -f Modelfile

# Run inference
ollama run eland-entity-sentiment-zh "分析以下文本對「台積電」的情感傾向。

文本：台積電營收創新高，市場看好AI需求持續成長。

請以 JSON 格式回答，包含 entity_sentiment（實體情感）。"

Custom Modelfile

The included Modelfile is configured for entity sentiment analysis:

FROM ./eland-entity-sentiment-zh-q8_0.gguf

TEMPLATE """{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
<think>

</think>

"""

SYSTEM """你是一個專業的實體情感分析助手。你的任務是分析文本中對指定實體（品牌、產品、公司、人物）的情感傾向。

規則：
1. 情感只能是：正面、負面、中立
2. 只分析對該指定實體的情感，忽略其他實體
3. 同一文本可能對不同實體有不同情感
4. 判斷真實意圖，注意諷刺和隱含意思
5. 回答格式必須是 JSON"""

PARAMETER temperature 0.1
PARAMETER num_predict 50
PARAMETER stop "<|im_end|>"

API Usage

# Start Ollama server (if not running)
ollama serve

# Query via API
curl http://localhost:11434/api/generate -d '{
  "model": "eland-entity-sentiment-zh",
  "prompt": "分析以下文本對「台積電」的情感傾向。\n\n文本：台積電營收創新高\n\n請以 JSON 格式回答，包含 entity_sentiment（實體情感）。",
  "stream": false
}'

Python with Ollama

import ollama

response = ollama.generate(
    model='eland-entity-sentiment-zh',
    prompt='分析以下文本對「台積電」的情感傾向。\n\n文本：台積電營收創新高，市場看好AI需求持續成長。\n\n請以 JSON 格式回答，包含 entity_sentiment（實體情感）。'
)
print(response['response'])  # Expected: {"entity_sentiment": "正面"}

Usage with llama.cpp

CLI

# Download GGUF
wget https://huggingface.co/p988744/eland-entity-sentiment-zh-gguf/resolve/main/eland-entity-sentiment-zh-q8_0.gguf

# Run inference
./llama-cli -m eland-entity-sentiment-zh-q8_0.gguf \
  -p "<|im_start|>system
你是一個專業的實體情感分析助手。你的任務是分析文本中對指定實體的情感傾向。<|im_end|>
<|im_start|>user
分析以下文本對「台積電」的情感傾向。

文本：台積電營收創新高

請以 JSON 格式回答，包含 entity_sentiment（實體情感）。<|im_end|>
<|im_start|>assistant
" \
  -n 50 \
  --temp 0.1

llama-cpp-python

from llama_cpp import Llama

llm = Llama(
    model_path="eland-entity-sentiment-zh-q8_0.gguf",
    n_ctx=2048,
    n_threads=4
)

prompt = """<|im_start|>system
你是一個專業的實體情感分析助手。你的任務是分析文本中對指定實體的情感傾向。<|im_end|>
<|im_start|>user
分析以下文本對「台積電」的情感傾向。

文本：台積電營收創新高，市場看好AI需求持續成長。

請以 JSON 格式回答，包含 entity_sentiment（實體情感）。<|im_end|>
<|im_start|>assistant
"""

output = llm(prompt, max_tokens=50, temperature=0.1)
print(output['choices'][0]['text'])  # Expected: {"entity_sentiment": "正面"}

Prompt Format

User: 分析以下文本對「{entity}」的情感傾向。

文本：{text}

請以 JSON 格式回答，包含 entity_sentiment（實體情感）。

Model Variants

Version	Repository	Use Case
LoRA Adapter	p988744/eland-entity-sentiment-zh	HuggingFace + PEFT
GGUF	p988744/eland-entity-sentiment-zh-gguf	Ollama / llama.cpp (this repo)
Full Merged	p988744/eland-entity-sentiment-zh-vllm	vLLM

Model Details

Parameter	Value
Base Model	Qwen/Qwen3-4B
Parameters	4.05B
Tensors	398
Context Length	2048

Dataset

Trained on p988744/eland-entity-sentiment-zh-data:

• Training: 333 samples
• Test: 100 samples

License

Apache 2.0