【AI框架核心技术】系列来啦！从入门到昇腾！

wryip

【AI框架核心技术】这个系列，主要是跟大师一起探讨和学习人工智能、深度学习的计算机系统设计，而整个系统是围绕着我在工作之余所堆集、梳理、构建关于AI框架的一些核心技术内容。
AI系统里面，其实大部门开发者并不关心AI框架或者AI框架的前端，因为AI框架作为一个东西，最大的方针就是辅佐更多的算法工程师快速实现他们的算法想法。不外呢，有着这么一群AI框架的开发工程师，但愿梳理相关的常识点，辅佐更多的系统工程师，快速对算法进行落地部署和性能优化的AI框架有个更全面和深刻的理解。
系列内容

AI是最新的电力，大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的改变。显然，AI的各个分支中，成长的最为迅速的就是深度学习。因此此刻，深度学习是在科技世界中广受欢迎的一种技巧。
通过《AI框架核心技术》这个系列内容，以及这门课程后面的几门课程，你将获取而且掌握的技能：

• 在《AI框架基础》第一门课程中，您将了解到AI框架的具体感化，可以提供给开发者一个编写神经网络模型的库和提供丰硕的API。以及近几年AI框架快速成长的历史和变迁。在这门课程的结尾，您将了解到分歧的编程范式对AI框架的影响和对用户习惯的影响。
  
• 在《自动微分》中，你将深入了解微分和微分的分歧方式，此中自动微分是微分很重要的实现方式之一，对于传统的几种微分方式有其独特的优势，这里面将会深入自动微分的正反向模式，不外在代码具体实现却有千差万别，于是我们将会手把手去用代码实现2种分歧模式的自动微分。
  
• 在《计算图》这一门课程，您将掌握AI框架的核心暗示：计算图。这里主要了解到什么是计算图和对计算图如何暗示以外，还会了解到计算图跟自动微分的关系，如何暗示反向模型和梯度，最后您还可以了解计算图中最难表达的控制流和动静统一的核心技术。 最后在《分布式并行》课程中，我们将会分为《分布式集群》、《分布式算法》、《分布式并行》3大内容进行展开，每一个内容都较为独立，于是最后我们将会把上面的技术串起来。
  

然这里不是打广告，而是但愿跟所有存眷开源项目的好伴侣一起探讨研究，共同促进学习讨论，也欢迎各位专家和伴侣多拍拍砖，多提点定见。相关的材料都开源在这里：DeepLearningSystem/Frontend at main · chenzomi12/DeepLearningSystem
具体大纲

1 AI框架基础

• 基本介绍  silde,video
  
• AI框架有什么用 silde,video
  
• AI框架之争（框架成长）silde,video
  
• 编程范式（声明式&命令式）silde,video
  

2. 自动微分

• 基本介绍 silde,video,article
  
• 什么是微分 silde,video,article
  
• 正反向计算模式 silde,video,article
  
• 三种实现方式 silde,video,article
  
• 手把手实现正向微分框架 silde,video,article
  
• 亲自实现一个PyTorch silde,video,article自动微分的挑战&未来 silde,video
  

3. 计算图

• 基本介绍  silde,video
  
• 什么是计算图 silde,video
  
• 计算图跟自动微分关系 silde,video
  
• 图优化与图执行调剂 silde,video
  
• 计算图的控制流机制实现 silde,video计算图未来将会走向何方？silde,video
  

4. 分布式集群

• 基本介绍 silde,video
  
• AI集群处事器架构 silde,video
  
• AI集群软硬件通信 silde,video
  
• 调集通信原语 silde,videoAI框架分布式功能 silde,video
  

5. 分布式算法

• 大模型训练的挑战 silde,video
  
• 算法：大模型算法布局 silde,video算法：亿级规模SOTA大模型 silde,video
  

6. 分布式并行

• 基本介绍 silde,video
  
• 数据并行 silde,video
  
• 模型并行之张量并行 silde,video
  
• MindSpore张量并行 silde,video
  
• 模型并行之流水并行 silde,video
  
• 混合并行 silde,video分布式训练总结 silde,video
  

完结，撒花！                                        楼主热贴

                       

                       

• 【AI框架核心技术】系列来啦！从入门到昇腾！
  
• 狗狗语音库-隐私政策
  
• 烦恼解决大师-隐私政策
  
• 塔罗牌小卡-隐私政策
  
• 易经小卡-隐私政策
  
• 掐指一算-隐私政策                       
  

                                                          社区热点

                                                                                                你会用AI画“涩图”吗？                                               

                       

• 人工智能技术对计算机获得智慧有何影响？
  
• 国产大模型除了我们熟知的，还有哪些？
  
• 文心一言是免费的，那百度公司会怎么赚钱？
  
• AI 绘画有哪些软件?
  
• 人工智能未来成长前景将会怎样？
  
• 文心一言4.0的使用体验如何？                       
  

免責聲明：如侵犯您的權益敬請通知刪除。