NeuroModels
Collection
Pre-trained models for on-device fine-tuning in the Neuro app • 2 items • Updated
YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
RWKV-7 61M Mobile Pretrained (Russian)
Это предобученная языковая модель на базе передовой архитектуры RWKV-7, оптимизированная специально для локального дообучения (fine-tuning) и работы прямо на вашем iPhone.
Благодаря ультралегкому весу и линейной сложности RNN-подобной архитектуры RWKV, модель обеспечивает высокую скорость работы и минимальное потребление энергии, что делает её идеальным выбором для edge-вычислений на мобильных устройствах.
📊 Характеристики модели
Ниже приведены ключевые технические параметры, которые используются приложением для инициализации сети и токенизатора:
| Параметр | Значение |
|---|---|
| Архитектура | RWKV-7 |
| Общее число параметров | 61.3M |
| Количество слоев (Layers) | 18 |
| Размерность векторов (Hidden Size) | 448 |
| Размер словаря (Vocab Size) | 16,000 (16k) |
| Токенизатор | BPE (Byte-Pair Encoding) |
| Основной язык | Русский |
| Лицензия | Apache 2.0 |
📱 Использование и файнтюн на iPhone
Модель специально адаптирована под жесткие ограничения оперативной памяти в iOS. Вес в ~61 миллион параметров позволяет проводить дообучение (fine-tuning) локально, не перегружая выделенный лимит RAM устройства.
Основные фичи для мобильного использования:
- Низкий Memory Footprint: Модель легко помещается в память и оставляет достаточно ресурсов для работы интерфейса приложения.
- Эффективный BPE-токенизатор: Специально сжатый до 16k словарь ориентирован на быструю обработку русскоязычного текста на мобильных процессорах.
- Архитектурное преимущество RWKV-7: Сочетает в себе качество трансформеров и высокую скорость вычислений рекуррентных сетей, экономя заряд батареи вашего iPhone при генерации.
💡 Совет по дообучению: При файнтюне в приложении рекомендуется использовать датасеты каталога Neuro или небольшие свои текстовые датасеты (например, личные заметки, специализированные статьи или кастомные диалоги). Локальный файнтюн позволяет полностью сохранить конфиденциальность — ваши данные никогда не покинут устройство.
🔒 Лицензия
Данная модель и все её веса распространяются под свободной лицензией Apache 2.0. Вы можете свободно использовать её в личных и коммерческих целях, модифицировать и интегрировать в свои приложения.
ImpulseLeap / Alexei Goncharov
- Downloads last month
- 29
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support