Text Classification
Transformers
Safetensors
Russian
deberta
toxicity-classification
russian
telegram
moderation
Eval Results (legacy)
Instructions to use Egor-3926/ToxicLord with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Egor-3926/ToxicLord with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="Egor-3926/ToxicLord")# Load model directly from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("Egor-3926/ToxicLord") model = AutoModelForSequenceClassification.from_pretrained("Egor-3926/ToxicLord") - Notebooks
- Google Colab
- Kaggle
Remove profanity and add examples
Browse files
README.md
CHANGED
|
@@ -95,7 +95,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_id)
|
|
| 95 |
model = AutoModelForSequenceClassification.from_pretrained(model_id)
|
| 96 |
model.eval()
|
| 97 |
|
| 98 |
-
text = "ты
|
| 99 |
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=192)
|
| 100 |
|
| 101 |
with torch.inference_mode():
|
|
@@ -108,6 +108,35 @@ label = "toxic" if toxic_score >= 0.90 else "clean"
|
|
| 108 |
print(label, toxic_score)
|
| 109 |
```
|
| 110 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 111 |
## Обучающие данные
|
| 112 |
|
| 113 |
Модель дообучалась на смеси публичных русскоязычных датасетов токсичности и приватных модерационных разметок/исправлений.
|
|
|
|
| 95 |
model = AutoModelForSequenceClassification.from_pretrained(model_id)
|
| 96 |
model.eval()
|
| 97 |
|
| 98 |
+
text = "ты грубый и неприятный человек"
|
| 99 |
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=192)
|
| 100 |
|
| 101 |
with torch.inference_mode():
|
|
|
|
| 108 |
print(label, toxic_score)
|
| 109 |
```
|
| 110 |
|
| 111 |
+
## Примеры
|
| 112 |
+
|
| 113 |
+
Ниже приведены безопасные демонстрационные примеры без явной нецензурной лексики. Итоговый результат зависит от выбранного порога и контекста сообщения.
|
| 114 |
+
|
| 115 |
+
```text
|
| 116 |
+
Сообщение: Спасибо за помощь, всё получилось
|
| 117 |
+
Ожидаемый класс: clean
|
| 118 |
+
```
|
| 119 |
+
|
| 120 |
+
```text
|
| 121 |
+
Сообщение: Я устал, сегодня был сложный день
|
| 122 |
+
Ожидаемый класс: clean
|
| 123 |
+
```
|
| 124 |
+
|
| 125 |
+
```text
|
| 126 |
+
Сообщение: Ты грубый и неприятный человек
|
| 127 |
+
Ожидаемый класс: toxic
|
| 128 |
+
```
|
| 129 |
+
|
| 130 |
+
```text
|
| 131 |
+
Сообщение: Сам ты лох
|
| 132 |
+
Ожидаемый класс: toxic
|
| 133 |
+
```
|
| 134 |
+
|
| 135 |
+
```text
|
| 136 |
+
Сообщение: Уйди отсюда, ты всем мешаешь
|
| 137 |
+
Ожидаемый класс: toxic
|
| 138 |
+
```
|
| 139 |
+
|
| 140 |
## Обучающие данные
|
| 141 |
|
| 142 |
Модель дообучалась на смеси публичных русскоязычных датасетов токсичности и приватных модерационных разметок/исправлений.
|