中文Mixtral混合专家大模型(Chinese Mixtral MoE LLMs)
地址:github.com/ymcui/Chinese-Mixtral
本项目基于Mistral.ai发布的Mixtral模型进行开发,该模型使用了稀疏混合专家模型(Sparse MoE)架构。本项目利用大规模中文无标注数据进行了中文增量训练,得到了中文Mixtral基础模型,并且进一步通过指令精调,得到了中文Mixtral-Instruct指令模型。该模型原生支持32K上下文(实测可达128K),能够有效地处理长文本,同时在数学推理、代码生成等方面获得了显著性能提升。使用llama.cpp进行量化推理时,最低只需16G内存(或显存)。
项目主要内容
Prev Chapter:别跟马斯克扯头花了!“叛徒”Anthropic解决了困扰OpenAI的难题
Next Chapter:ChatGPT-Plus,AI 助手全套开源解决方案,自带运营管理后台,开箱即用。
MGA: Chapter 418 - Bet Everything
2024-02-03Nine Star Hegemon Body Arts Chapter 3028 Bloodline Summoning
2024-11-10Martial Peak Chapter 2564 - Kill the Man, Capture the Woman
2024-11-11