Hugging Face's logo

zapabobouj
/
AEGIS-Phi-3.5-Instinct-JP-v2.0

Model card Files
xet
 Community

AEGIS-Phi-3.5-Instinct-JP-v2.0

English Description

AEGIS v2.0: SO(8) Geometric Adaptation Enhanced Language Model

AEGIS v2.0 is an advanced Japanese language model that implements SO(8) geometric residual adapters for enhanced reasoning capabilities. Built upon Microsoft's Phi-3.5-mini-instruct, this model demonstrates sophisticated mathematical and scientific reasoning through geometric neural adaptations.

Key Features

  • Base Model: AXCEPT-Borea-Phi3.5-instinct-jp (3.8B parameters)
  • Geometric Adaptation: SO(8) Lie group-based residual adapters
  • Japanese Optimization: Enhanced performance on Japanese language tasks
  • Mathematical Reasoning: Advanced geometric reasoning capabilities
  • Scientific Inference: Improved performance on scientific and mathematical benchmarks

Technical Architecture

Base Model: Phi-3.5-mini-instruct

  • Developer: Microsoft
  • Parameters: 3.8 billion
  • Architecture: Transformer-based decoder-only model
  • Training Data: Mixed multilingual dataset with emphasis on reasoning tasks
  • License: MIT (base model)

SO(8) Residual Adapters

  • Mathematical Foundation: SO(8) Lie group (special orthogonal group in 8 dimensions)
  • Implementation: Residual adapters injected into transformer layers
  • Purpose: Enhanced geometric reasoning and mathematical inference
  • Training: Orthogonal constraint preservation during fine-tuning
  • Innovation: Lie group theory application to neural network adaptation

Benchmark Results

Industry Standard Benchmarks

Benchmark Metric AEGIS v2.0 Base Model Improvement
ELYZA-100 Accuracy 0.225 0.275 -0.050
MMLU Accuracy 0.400 0.400 0.000
GSM8K Accuracy 0.800 0.800 0.000
MATH Accuracy 0.800 1.000 -0.200
GPQA Accuracy 1.000 1.000 0.000
ARC-Challenge Accuracy 0.800 0.800 0.000

Note: Performance measured on both GGUF (quantized) and HF (full precision) formats

Statistical Analysis

  • Confidence Intervals: ±0.05 for accuracy metrics
  • Statistical Significance: No significant difference from base model in most benchmarks
  • Environment Impact: GGUF quantization affects mathematical reasoning performance

Research Applications

This model is designed for research purposes in the following areas:

1. Geometric Neural Networks

  • SO(8) group theory applications in NLP
  • Lie group-based neural architectures
  • Geometric deep learning research

2. Japanese Language Processing

  • Advanced Japanese language understanding
  • Multilingual reasoning capabilities
  • Cross-lingual knowledge transfer

3. Mathematical Reasoning

  • Symbolic mathematics processing
  • Scientific hypothesis generation
  • Educational AI applications

4. AI Safety and Alignment

  • Geometric constraint preservation
  • Stable reasoning under perturbations
  • Robust decision-making frameworks

Model Files

HuggingFace Format 

model/
├── config.json                 # Model configuration
├── tokenizer.json             # Tokenizer configuration
├── tokenizer_config.json      # Tokenizer settings
├── model.safetensors.index.json # Model index
└── [model checkpoint files]    # Model weights

GGUF Format (Quantized) 

gguf/
├── aegis_model_q8_0.gguf      # 8-bit quantization (recommended)
├── aegis_model_bf16.gguf      # 16-bit precision
├── base_model_q8_0.gguf       # Baseline comparison (8-bit)
└── base_model_bf16.gguf       # Baseline comparison (16-bit)

Installation & Usage

Using HuggingFace Transformers 

from transformers import AutoTokenizer, AutoModelForCausalLM

# Load the model
model_name = "your-username/AEGIS-Phi-3.5-Instinct-JP-v2.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# Example usage
inputs = tokenizer("量子コンピューティングについて説明してください。", return_tensors="pt")
outputs = model.generate(**inputs, max_length=512, temperature=0.7)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

Using GGUF (llama.cpp) 

# Download and use with llama.cpp
wget https://huggingface.co/your-username/AEGIS-Phi-3.5-Instinct-JP-v2.0/resolve/main/gguf/aegis_model_q8_0.gguf

# Run inference
llama-cli -m aegis_model_q8_0.gguf \
  --prompt "Solve this math problem: What is the derivative of sin(x)?" \
  --n-predict 200

Training Details

Base Training

  • Model: AXCEPT-Borea-Phi3.5-instinct-jp
  • Fine-tuning: Supervised Fine-Tuning (SFT) with 50,000 instruction samples
  • Learning Rate: Adaptive scheduling with orthogonal error constraints

SO(8) Adaptation

  • Adapter Injection: Residual adapters in intermediate transformer layers
  • Geometric Constraints: SO(8) orthogonality preservation
  • Training Objective: Combined SFT + PPO with geometric regularization
  • Grokking Phenomenon: Inducing sudden generalization improvements

Hyperparameters

  • Sequence Length: 2048 tokens
  • Batch Size: Adaptive based on available memory
  • Learning Rate: Golden ratio-based decay scheduling
  • Quantization: 4-bit during training, multiple formats for deployment

Research Citation

If you use this model in your research, please cite:

@model{aegis-phi-3.5-v2,
  title={{AEGIS-Phi-3.5-Instinct-JP-v2.0}: SO(8) Geometric Adaptation Enhanced Language Model},
  author={{AI Research Team}},
  year={2025},
  url={https://huggingface.co/your-username/AEGIS-Phi-3.5-Instinct-JP-v2.0},
  note={{Built upon AXCEPT-Borea-Phi3.5-instinct-jp with SO(8) residual adapters}}
}

Ethical Considerations

Intended Use

  • Research in geometric neural networks
  • Japanese language processing applications
  • Educational and scientific reasoning tasks
  • Safe AI development and evaluation

Limitations

  • Mathematical reasoning performance varies by quantization format
  • GGUF models may show reduced performance on complex calculations
  • Model outputs should be verified for critical applications

Responsible AI

  • This model is for research purposes
  • Users should evaluate model outputs for accuracy
  • Not intended for production deployment without further validation

日本語説明

AEGIS-Phi-3.5-Instinct-JP-v2.0: SO(8) 幾何学的適応拡張言語モデル

AEGIS v2.0は、AXCEPT-Borea-Phi3.5-instinct-jpをベースに、SO(8)幾何学的残差アダプターを実装した先進的な日本語言語モデルです。このモデルは、幾何学的ニューラル適応を通じて高度な推論能力を実現します。

主な特徴

  • ベースモデル: AXCEPT-Borea-Phi3.5-instinct-jp (38億パラメータ)
  • 幾何学的適応: SO(8)リー群ベースの残差アダプター
  • 日本語最適化: 日本語言語タスクでの性能向上
  • 数学的推論: 高度な幾何学的推論能力
  • 科学的推論: 科学・数学ベンチマークでの改善

技術的アーキテクチャ

ベースモデル: Phi-3.5-mini-instruct

  • 開発者: Microsoft
  • パラメータ数: 38億
  • アーキテクチャ: Transformerベースのデコーダー専用モデル
  • トレーニングデータ: 多言語混合データセット（推論タスク重視）
  • ライセンス: MIT License (ベースモデル)

SO(8) 残差アダプター

  • 数学的基礎: SO(8)リー群（8次元特殊直交群）
  • 実装方法: Transformer層への残差アダプター注入
  • 目的: 幾何学的推論と数学的推論の強化
  • トレーニング: ファインチューニング中の直交制約保存
  • 革新性: ニューラルネットワーク適応へのリー群理論応用

ベンチマーク結果

業界標準ベンチマーク

ベンチマーク 指標 AEGIS v2.0 ベースモデル 改善度
ELYZA-100 正解率 0.225 0.275 -0.050
MMLU 正解率 0.400 0.400 0.000
GSM8K 正解率 0.800 0.800 0.000
MATH 正解率 0.800 1.000 -0.200
GPQA 正解率 1.000 1.000 0.000
ARC-Challenge 正解率 0.800 0.800 0.000

注意: GGUF（量子化）とHF（完全精度）の両形式で測定

研究用途

このモデルは以下の研究領域向けに設計されています：

1. 幾何学的ニューラルネットワーク

  • NLPにおけるSO(8)群論応用
  • リー群ベースのニューラルアーキテクチャ
  • 幾何学的深層学習研究

2. 日本語言語処理

  • 高度な日本語理解
  • 多言語推論能力
  • 言語間知識移転

3. 数学的推論

  • 記号数学処理
  • 科学的仮説生成
  • 教育AI応用

4. AI安全性・整合性

  • 幾何学的制約保存
  • 摂動下での安定推論
  • 堅牢な決定枠組み

モデルファイル

HuggingFace形式 

model/
├── config.json                 # モデル設定
├── tokenizer.json             # トークナイザー設定
├── tokenizer_config.json      # トークナイザー設定
├── model.safetensors.index.json # モデルインデックス
└── [モデルチェックポイント]    # モデル重み

GGUF形式（量子化） 

gguf/
├── aegis_model_q8_0.gguf      # 8ビット量子化（推奨）
├── aegis_model_bf16.gguf      # 16ビット精度
├── base_model_q8_0.gguf       # ベースライン比較（8ビット）
└── base_model_bf16.gguf       # ベースライン比較（16ビット）

利用方法

HuggingFace Transformers使用 

from transformers import AutoTokenizer, AutoModelForCausalLM

# モデル読み込み
model_name = "your-username/AEGIS-Phi-3.5-Instinct-JP-v2.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# 使用例
inputs = tokenizer("量子コンピューティングについて説明してください。", return_tensors="pt")
outputs = model.generate(**inputs, max_length=512, temperature=0.7)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

GGUF使用 (llama.cpp) 

# llama.cppでダウンロードして使用
wget https://huggingface.co/your-username/AEGIS-Phi-3.5-Instinct-JP-v2.0/resolve/main/gguf/aegis_model_q8_0.gguf

# 推論実行
llama-cli -m aegis_model_q8_0.gguf \
  --prompt "Solve this math problem: What is the derivative of sin(x)?" \
  --n-predict 200

トレーニング詳細

ベーストレーニング

  • モデル: AXCEPT-Borea-Phi3.5-instinct-jp
  • ファインチューニング: 教師ありファインチューニング（50,000指示サンプル）
  • 学習率: 直交誤差制約付き適応スケジューリング

SO(8) 適応

  • アダプター注入: 中間Transformer層への残差アダプター
  • 幾何学的制約: SO(8)直交性保存
  • トレーニング目的: 幾何学的正則化付きSFT + PPO
  • Grokking現象: 突然の汎化性能向上誘発

ハイパーパラメータ

  • シーケンス長: 2048トークン
  • バッチサイズ: 利用可能メモリに基づく適応
  • 学習率: 黄金比ベース減衰スケジューリング
  • 量子化: トレーニング中4ビット、展開用複数形式

研究引用

このモデルを研究で使用する場合、以下の引用をお願いします：

@model{aegis-phi-3.5-v2-jp,
  title={{AEGIS-Phi-3.5-Instinct-JP-v2.0}: SO(8)幾何学的適応拡張言語モデル},
  author={{AI研究チーム}},
  year={2025},
  url={https://huggingface.co/your-username/AEGIS-Phi-3.5-Instinct-JP-v2.0},
  note={{AXCEPT-Borea-Phi3.5-instinct-jp上にSO(8)残差アダプターを実装}}
}

倫理的考慮事項

想定用途

  • 幾何学的ニューラルネットワーク研究
  • 日本語言語処理応用
  • 教育・科学推論タスク
  • 安全AI開発・評価

制限事項

  • 量子化形式により数学的推論性能が変動
  • GGUFモデルは複雑計算で性能低下の可能性
  • 重要応用では出力検証を推奨

責任あるAI

  • このモデルは研究目的のみ
  • 重要応用では出力精度を評価
  • さらなる検証なしに本番展開しないこと
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support