在AI流行的今天,作为#程序员# 还是要了解一些GPU编程的知识的。这个项目Triton-Puzzles可以作为一个学习的起点:
github.com/srush/Triton-Puzzles
(项目里还有不少更深的其他资料链接,enjoy!)
GPU 等加速器编程对于现代人工智能系统至关重要,这通常意味着直接使用专有的低级语言(例如 CUDA)进行编程。Triton是一种替代开源语言,允许你在更高级别进行编码并编译到 GPU 等加速器。
Triton 的编码在语法和语义上都与 Numpy 和 PyTorch 非常相似。
作者精心设计了这套Triton谜题,旨在教你如何以交互方式从第一原理开始使用 Triton。你将从简单的示例开始,逐步构建真正的算法,例如 Flash Attention 和量化神经网络。这些谜题不需要在 GPU 上运行,因为它们使用 Triton 解释器。
同时应该会需要用到这个Triton-Viz工具:github.com/Deep-Learning-Profiling-Tools/triton-viz,Triton 上 GPU 编程的可视化工具包。