cao,我要被 AI 大模型抢走饭碗了
前不久我们出了一篇文章《AGI 变革:从新的公司组织,到新的文明形态》。深挖了 OpenAI 发展历程:创始人山姆·奥特曼一路秉持理想主义,带领团队另辟蹊径。抛弃“有监督训练”(以谷歌 Bert 大模型训练为代表)的主流技术路径,转而使用 Transformer 模型进行自然语言处理,训练 GPT 架构的 LLM。
在长期孤独且惊人的巨大投入后,OpenAI 4年磨一剑,2020年推出GPT-3,震惊业界。2022年底推出 ChatGPT 爆火出圈,一战成名!
如今,OpenAI 如日中天,钱和名自然都不缺,人才也信手拈来。那么 OpenAI 要往哪走--答案一直没变。在 OpenAI官网上,向世人展现着一以贯之的理想:
“Ourmission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.”——2023年2月14日《Planning for AGI and beyond》
理想主义者的胜利,往往“为天下之不为,成世人所不成之事”。举世瞩目的成就让全球大厂都坐不住了,外有谷歌、Meta、Amazon 纷纷跟进,内有百度、阿里、360、讯飞一哄而上。
曾经一众专家学者和企业界都不看好的GPT技术路线一转身,成为全球焦点,据不完全统计,国内大厂+小厂截止今年上半年推出的大模型就多达上百个,知名的都有几十个。
除了百年一遇的技术奇点,更重要的是,大模型越训练越快,越快越好用,越好用就有越多训练资源--跑步进场是最好的选择。
AI 时代真的要来了。
硅谷精神之父凯文·凯利在新书《5000天后的世界》中指出“未来将会是一切都与AI相连的‘镜像世界’。数百万人一起工作,AR无处不在”。同时他也给出了一些建议:
“不断提问”作为一种习惯,必然会成为人类最基本也最有价值的行为之一
对于科技带来的问题,永远不能靠减少科技解决,而应该发明更好的科技
只有保持几分饥饿的状态,才能有继续创新的可能
“我们仍处在开始的开始,如果不想因为一味迎合变化而慌了手脚,就应该掌握学习的方法。”
立足当下,我们应该怎样面对来势汹汹的科技浪潮?再简单点说,你知道大模型,你调试过大模型吗?你读过开源大模型代码吗?是否想过自己训练AI大模型呢?
你距离AI原生开发者还有多远?
#1.
4大章10小节24次课带你
深入浅出AI大模型
#4.
至少有1-3年软件开发经验
熟悉 Python/C++ 编程
有一定AI理论基础,如概率论、线性代数
对AI开发感兴趣,想从事AI开发相关行业
除了正课以外,我们还设置了免费加餐,
报名学习大模型训练营,还能获得以下助力:
联合出品人
如果10年前你错过了比特币,那10年后的今天,我建议你要学习下chatgpt,因为它会超过比特币的影响力,而学习它,使用它,你才能超过别人,这又是一次新的新的起跑点。——韦启发推荐
ChatGPT为什么这么神?它能够实现当前的交互,离不开OpenAI在AI预训练大模型领域的积累。学习它,了解背后的秘密,才能让我们可以走在科技最前沿。——李肖遥推荐
常见问题与帮助
对了,我们在过去两周里,推出了AI大模型系列大咖直播周,两周三位老师四场直播,给大家分享了AI开发者必知必会的基础知识 》》》
#AI大模型开发系列大咖直播周
🌲 活动:AI大模型开发系列大咖直播周(共 4 场)
🔥 形式:在线课程(免费)
⏰ 时间:2023 年 7 月 11 日、13 日、18日、20日,晚 20:00-21:00
🗺 地点:飞书会议(入群后发布会议链接)
分享嘉宾:Franky,英伟达资深研发 Leader,曾在 ARM、AMD 等头部公司深耕多年。
时间:7 月 11 日 晚 20:00
分享提纲:
基于Transformer decoder的SFT(supervised fine-tuning)模型
让大模型理解人类的喜好--Reward Model详解
让大模型学会自己打标--RLHF(Reinforcement Learning from Human Feedback)模型详解
分享嘉宾:丁峰,曾任阿里大计算团队核心成员,并在华为、英伟达等头部公司有近二十年 AI 研发经验。多篇顶会 paper 的一作和二作。
时间:7 月 13 日 晚 20:00
分享提纲:
总览GPU/NPU/TPU 架构
存储结构
异构编程模型
性能优化方法,包括多流并发,存储性能优化,指令集优化,定制优化
分享嘉宾:肖城,曾任 Intel 英特尔深度学习模型优化专家,近二十年模型优化经验,涉及量化,剪枝,蒸馏。深度学习框架 pytorch 国内贡献者之一。
时间:7 月 18 日 晚 20:00
分享提纲:
为什么要模型优化
模型优化的几种方法
模型量化的基本原理
模型量化的pytorch实现
模型量化的一些工具
分享嘉宾:丁峰,曾任阿里大计算团队核心成员,并在华为、英伟达等头部公司有近二十年 AI 研发经验。多篇顶会 paper 的一作和二作。
时间:7 月 20 日 晚 20:00
分享提纲:
3D parallelism
ZeRO, ZeRO-offload, ZeRO infinity, ZeRO inference
Sparse attention, flash attention. Paged attention
Transformer kernel fusion
1-bit adam, 1-bit LAMB
NCCL/oneCCL in pytorch/deepspeed
希望获得以上四场直播的课件PPT、课程回放视频,可免费申请索取。👇