| import gradio as gr |
| import os |
| from transformers import BertTokenizer, BertModel |
| import torch |
|
|
|
|
| tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') |
|
|
| def Bemenet(input_string): |
| return tokenizer.tokenize("[CLS] " + input_string + " [SEP]") |
|
|
|
|
| interface = gr.Interface(fn=Bemenet, |
| title="Tokenizáló", |
| description="Az itt megosztott példa mondatokat tokenizál. A bal oldali input mezőbe beírt mondat token-jei a jobb oldali szöveges mezőben jelennek meg.", |
| inputs="text", |
| outputs="text") |
|
|
| interface.launch() |
