| <!DOCTYPE html> |
| <html lang="en"> |
| <head> |
| <meta charset="UTF-8"> |
| <title>EDMI - Erida Dynamic Model Injection</title> |
| <style> |
| body { font-family: Arial, sans-serif; max-width: 800px; margin: 40px auto; line-height: 1.6; } |
| h1 { color: #2c3e50; } |
| p { margin-bottom: 1em; } |
| code { background: #f4f4f4; padding: 2px 5px; border-radius: 3px; } |
| </style> |
| </head> |
| <body> |
| <h1>EDMI</h1> |
|
|
| <p> |
| EDMI - модуль для LLM, который динамически усиливает скрытые состояния модели. |
| Он обнаруживает слабые токены, вычисляет небольшое улучшение через усилитель |
| и внедряет его обратно, не нарушая генерацию. |
| </p> |
|
|
| <p> |
| Принцип работы прост: для каждого слоя выбираются несколько наиболее слабых токенов, |
| их скрытые состояния корректируются через внутренние параметры, а сила влияния регулируется |
| небольшим параметром scale. |
| </p> |
|
|
| <p><strong>Пример кода:</strong></p> |
| <pre> |
| import torch |
| import torch.nn as nn |
|
|
| class EDMI(nn.Module): |
| def __init__(self, d_model, top_k=2, layer_idx=0): |
| super().__init__() |
| self.top_k = top_k |
| self.scale = nn.Parameter(torch.tensor(4e-4 * (0.75 ** layer_idx))) |
| self.detector = nn.Linear(d_model, 1, bias=False) |
| self.enhancer = nn.Sequential( |
| nn.Linear(d_model, d_model // 4), |
| nn.GELU(), |
| nn.Linear(d_model // 4, d_model) |
| ) |
| self.gate = nn.Sigmoid() |
|
|
| def forward(self, h): |
| b, seq_len = h.shape[0], h.shape[1] |
| weakness = torch.sigmoid(self.detector(h)).squeeze(-1) |
| k = min(self.top_k, seq_len) |
| if k == 0: |
| return h |
| topk_idx = torch.topk(weakness, k=k, dim=1, largest=True).indices |
| mask = torch.zeros_like(weakness).scatter_(1, topk_idx, 1.0).unsqueeze(-1) |
| delta = self.scale * mask * self.gate(self.enhancer(h)) |
| return h + delta |
| </pre> |
| </body> |
| </html> |
|
|
