机器之心

欺骗、隐瞒、删库跑路,AI程序员彻底失控翻车

机器之心报道

编辑:冷猫

还记得前几天会睡觉的 Claude 吗?

都说 AI 越来越像人了,如果说 Claude 最多是个「懒人」的话,那下面要聊的这位可是个十足的「坏人」。

就在前不久的 19 日,SaaStr.AI 创始人兼首席执行官 Jason 在推特上报告了一件令行业震惊的事件:

Replit 在一天的工作结束后,删除了整个公司的生产数据库。

image.png

原来不仅仅人类程序员会「删库跑路」,AI 程序员也会。

虽说 AI 没法真的跑路,但是更恶劣的情况是它会撒谎,会隐瞒情况。

Jason 声称,Replit 在做单元测试的时候生成测试全部通过,在批处理失败的时候,才抓住 Replit 撒谎的情况。

image.png

更夸张的是,当数据库被删除之后的第一反应自然是回滚。但 Replit 却斩钉截铁:「无法回滚」。

给出的原因是:删除命令是毁灭性的,数据库没有内置回滚命令,Replit 并不会自动备份数据库,已经太晚了。

但 Jason 发现自己又被骗了。

image.png

回滚功能其实是有效的。

反复横跳的使用体验让人的心情直接坐上了跳楼机。

「简直离谱 (JFC)」!Jason 在推文中接连使用该词汇表达自己的强烈情绪。

「我知道 Replit 是一个工具,和其他工具一样,也有缺陷。但是如果它忽略所有命令并删除您的数据库,地球上的任何人怎么能在生产中使用它呢?」

这份推文引起了广泛的关注,再一次激发了对于人工智能编程开发工具的可靠性的质疑,尤其是针对当事平台 Replit,已经产生了一定程度的信任危机。

除了「删库」危机以外,Jason 还反复提及了 Replit 无法实现「代码冻结」的功能缺陷,其无法冻结部分代码免于修改,这给实际的应用带来了非常大的困扰。

Replit 最初是一个协作编码平台,后来发展成为一个由人工智能驱动的软件创建生态系统,其核心功能是通过使用自然语言描述来构建完整的应用程序。Replit 在近期的增长十分惊人,2025 年 7 月,Replit 宣布其拥有 50 万企业用户。据投资者史蒂夫・凯斯(Stevie Case) 称,其收入在不到六个月的时间里增长了 10 倍,达到 1 亿美元。同月,Replit 宣布与微软建立合作伙伴关系,将 Replit 技术集成到微软的多款企业工具中。

在「删库」事件发生后,Replit 创始人 Amjad Masad 发推对此事进行了详细回应,并且明确将迅速采取行动提高稳定性和安全性,且愿意为 Jason 提供补偿。

回应全文如下:

我们注意到了 Jason 的帖子。确实存在 Replit Agent 在开发过程中误删生产数据库数据 的问题。这是完全不可接受的,绝不应该发生。

我们立即采取了以下措施:

即使是周末,我们也在加班推进数据库的开发环境和生产环境的自动隔离功能部署,从根本上杜绝此类问题。预发布环境也正在构建中,明天会有更多更新。

幸运的是,我们有备份机制。如果 Agent 出错,可以一键恢复整个项目状态。

此次事故中,Agent 没有访问到正确的内部文档。我们正在推出更新,强制 Agent 在 Replit 知识库中进行文档检索。

此外,我们清楚地听到了大家对 “代码冻结(code freeze)” 的抱怨 —— 我们正在开发规划 / 仅聊天模式,让用户可以在不影响代码库的情况下进行战略性思考。

在周五早上第一时间看到此事后,我已主动联系 Jason 提供帮助。我们将为此事给予退款赔偿,并将开展事故复盘,彻查问题成因并优化未来的响应机制。

我们感谢 Jason 及所有用户的反馈。目前,我们的首要任务是全面提升 Replit 平台的安全性与稳定性,我们正在迅速行动中。

上下滑动查看原文

目前,Jason 仍在发推更新使用 Replit 的最新进展,若感兴趣可以自行关注。

或许这次事件不是个例,有网友称经常遇到相似的状况,尤其是在移动平台上使用 AI 编程的时候。

image.png

这次事件恰好为所有 AI 编程工具以及使用 AI 工具作为生产力的人们敲响了警钟。不仅是 AI 编程服务商要为此采取行动,在使用 AI 编程工具的时候一定要遵守开发规范和安全流程,尤其需要关注对于 AI 访问数据的权限。

image.png

Reddit 网友也确实指出了这次事件背后的人为原因,「这完全是由人类操作员造成的,因为他们没有理解将模型直接连接到生产数据库的风险,对此没有任何借口,尤其是在没有备份的情况下』。

人类程序员都有非常严格的权限限制标准,更何况 AI 程序员呢?

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]