电子书《Machine Learning Engineering Open Book》机器学习工程开卷书
地址:github.com/stas00/ml-engineering
“这是一个公开的集合,包含方法论、工具和逐步指导,帮助成功训练大型语言模型和多模态模型。
这是适合LLM/VLM训练工程师和操作员的技术材料。这里的内容包含大量脚本和复制粘贴的命令,使您能够快速解决需求。
这个仓库是我(指作者Stas Bekman)在训练大型语言模型(LLM)和视觉语言模型(VLM)过程中经验的不断积累;其中很多知识是我在2022年训练开源的BLOOM-176B模型和2023年训练IDEFICS-80B多模态模型时获得的。目前,我正在Contextual.AI开发/训练开源的检索增强生成(RAG)模型。
我主要是为自己整理这些信息,以便快速找到我过去研究并且有效的解决方案,但我也很乐意与更广泛的机器学习社区分享这些内容。”