Egor-3926 commited on
Commit
8576421
·
verified ·
1 Parent(s): ca7785f

Remove profanity and add examples

Browse files
Files changed (1) hide show
  1. README.md +30 -1
README.md CHANGED
@@ -95,7 +95,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_id)
95
  model = AutoModelForSequenceClassification.from_pretrained(model_id)
96
  model.eval()
97
 
98
- text = "ты еблан"
99
  inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=192)
100
 
101
  with torch.inference_mode():
@@ -108,6 +108,35 @@ label = "toxic" if toxic_score >= 0.90 else "clean"
108
  print(label, toxic_score)
109
  ```
110
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
111
  ## Обучающие данные
112
 
113
  Модель дообучалась на смеси публичных русскоязычных датасетов токсичности и приватных модерационных разметок/исправлений.
 
95
  model = AutoModelForSequenceClassification.from_pretrained(model_id)
96
  model.eval()
97
 
98
+ text = "ты грубый и неприятный человек"
99
  inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=192)
100
 
101
  with torch.inference_mode():
 
108
  print(label, toxic_score)
109
  ```
110
 
111
+ ## Примеры
112
+
113
+ Ниже приведены безопасные демонстрационные примеры без явной нецензурной лексики. Итоговый результат зависит от выбранного порога и контекста сообщения.
114
+
115
+ ```text
116
+ Сообщение: Спасибо за помощь, всё получилось
117
+ Ожидаемый класс: clean
118
+ ```
119
+
120
+ ```text
121
+ Сообщение: Я устал, сегодня был сложный день
122
+ Ожидаемый класс: clean
123
+ ```
124
+
125
+ ```text
126
+ Сообщение: Ты грубый и неприятный человек
127
+ Ожидаемый класс: toxic
128
+ ```
129
+
130
+ ```text
131
+ Сообщение: Сам ты лох
132
+ Ожидаемый класс: toxic
133
+ ```
134
+
135
+ ```text
136
+ Сообщение: Уйди отсюда, ты всем мешаешь
137
+ Ожидаемый класс: toxic
138
+ ```
139
+
140
  ## Обучающие данные
141
 
142
  Модель дообучалась на смеси публичных русскоязычных датасетов токсичности и приватных модерационных разметок/исправлений.