TimYang

硬核实操:本机部署AI小模型自我演进实验

Autoresearch:让AI智能体为你通宵全自动调参炼丹!
Andrej Karpathy近期推出了颠覆性的开源项目:Autoresearch,它标志着AI研究迈入了“全自动化”的新阶段。
该项目基于极简的大语言模型训练框架 nanochat,允许用户通过编写 program.md 发出宏观指令,由AI智能体(如Claude Code)代替人类研究员,自动修改核心代码(train.py)、执行5分钟短时测试、并根据核心指标 val_bpb (独立于词表的每字节验证比特数)自动判断实验结果的优劣。如果模型改进则保留,反之则丢弃,从而在彻夜间自动完成上百次实验,不断自我进化。
无论你使用的是Windows/Linux(需NVIDIA显卡)还是Mac(Apple Silicon平台,已有专属分支支持),只需几步简单的配置,你就能拥有一个24小时不间断工作的“专属AI实验室”。还在熬夜手动调参?是时候把你的炼丹炉交给AI,体验当“AI研究院老板”的快乐了!
我尝试在国内某云的 T4 GPU,运行时候提示需要更新的GPU……
RuntimeError: FlashAttention only supports Ampere GPUs or newer.
然后切换到国外 D* 选择每小时 $1.57 的 L40S GPU 之后,终于能顺利的训练了。
运行之后可以进一步 hack 的任务请参看贴图。
关键词: Autoresearch, Andrej Karpathy, nanochat, AI智能体, 全自动机器学习, 自动调参, 大语言模型训练, val_bpb
🔥AI自动搞科研的时代已经到来!连训练模型这种事都可以交给AI去持续迭代。
👇你会用它来训练一个属于自己的小模型吗?如果在部署中遇到任何问题,欢迎在评论区留言交流!
记得关注点赞,今晚就让你的电脑替你“卷”起来吧!⭐️