Mistral发布了两个小模型，Ministral 3B 和 Ministral 8B

2024-10-17 11:50:30 浏览：158 作者：管理员

Mistral发布了两个小模型，Ministral 3B 和 Ministral 8B

他们说这是世界上最好的边缘模型（edge models），数据确实非常亮眼，所有参数全面超越同规模模型。

两种模型均支持长达 128k 的上下文长度；
Ministral 8B 有特殊的交错滑动窗口注意力模式，以加快和提高内存利用率；
Ministral 8B Instruct 模型可以下载不可商用。

他们自己发的这个梗图非常好玩。

官方公告：mistral.ai/news/ministraux/