A newer version of this model is available: Shuu12121/Owl-ph2-base-len2048
🦉CodeModernBERT-Owl
旧版のモデルです。こちらのモデルなど最新版をお使いください！！
** モデルパラメータ / Model Parameters**
| パラメータ / Parameter | 値 / Value |
|---|---|
| vocab_size | 50,004 |
| hidden_size | 768 |
| num_hidden_layers | 12 |
| num_attention_heads | 12 |
| intermediate_size | 3,072 |
| max_position_embeddings | 2,048 |
| type_vocab_size | 2 |
| hidden_dropout_prob | 0.1 |
| attention_probs_dropout_prob | 0.1 |
| local_attention_window | 128 |
| rope_theta | 160,000 |
| local_attention_rope_theta | 10,000 |
ライセンス / License
Apache-2.0
- Downloads last month
- 7