内容主要包括以下六大模块:
第一部分,AI 基础知识和 AI 系统的全栈概述的AI 系统概述,以及深度学习系统的系统性设计和方法论,主要是整体了解 AI 训练和推理全栈的体系结构内容。
第二部分,硬核篇介绍AI 芯片概况,这里就很硬核了,从芯片基础到 AI 芯片的范围都会涉及,芯片设计需要考虑上面 AI 框架的前端、后端编译,而不是停留在天天喊着吊打英伟达,被现实打趴。
第三部分,进阶篇介绍AI 编译器原理,将站在系统设计的角度,思考在设计现代机器学习系统中需要考虑的编译器问题,特别是中间表达乃至后端优化。
第四部分,实际应用推理系统与引擎,讲了太多原理身体太虚容易消化不良,还是得回归到业务本质,让行业、企业能够真正应用起来,而推理系统涉及一些核心算法和注意的事情也分享下。
第五部分,介绍AI 框架核心技术,首先介绍任何一个 AI 框架都离不开的自动微分,通过自动微分功能后就会产生表示神经网络的图和算子,然后介绍 AI 框架前端的优化,还有最近很火的大模型分布式训练在 AI 框架中的关键技术。
第六部分,汇总篇介绍大模型与 AI 系统,大模型是基于 AI 集群的全栈软硬件性能优化,通过最小的每一块 AI 芯片组成的 AI 集群,编译器使能到上层的 AI 框架,训练过程需要分布式并行、集群通信等算法支持,而且在大模型领域最近持续演进如智能体等新技术。
入口地址: https://chenzomi12.github.io/
Prev Chapter:电子书《硬地骇客 - 两个月 $12000 ARR 实践之路》
Next Chapter:一款基于 LLM 大语言模型的知识库问答系统:MaxKB