hambobo15/hambobos-stupid-wikipedia-nano_v2

я улучшил предыдущую модель и боже, она начала писать слова!

Модель

• просто обычная модель обученая нп ноутбуке и проклята на отсутствие смысла слов
• я собираюсь её переобучить на transformers но а так это не скоро
• loss ~10,000
• модель не пишет текст с смыслом, поставье температуру 0.6 и она сможет писать слова
• ультра быстрая модель и очень маленькая

Улучшения

• улучшилась структура слов
• loss понизился на ~5,000
• 10 эпох обучения вместо 6
• модель стала лучше придумывать вымышленные страницы википедии
• модель все еще тупая
• маленький вес