alitrack

210 万条亚马逊评论,DuckDB 只放 40 条给 LLM

11 月 11 日,阿姆斯特丹,DuckDB 用户组办了第一场 workshop。Hugging Face 的 Pratik Patel 主持,一个下午,到场的人每人搭好了一条完整的分析管线:从 210 万条亚马逊家电评论里,找出评分正在崩掉的产品,并让 LLM 解释原因。

听起来像 AI Agents 大显神通的场面。实际跑起来,LLM 全程只接触到 40 条评论。

这个数字是整个 workshop 最值得琢磨的地方。

● ● ●

管线长什么样

数据是 Amazon Reviews 2023 数据集里的家电部分:210 万条评论,原始 JSON 格式约 1.2 GB。会场 Wi-Fi 没人遭罪——所有人先用 22 MB 的样本在笔记本上把全流程跑通,最后同一套脚本原样丢到 Hugging Face 的 Job 里跑全量,机器一小时 0.01 美元,咖啡还没喝完就跑完了。

下午分五步:本地把 JSON 转成两张 Parquet 表(评论表 + 商品表);用 DuckDB 查评分分布、逐月追踪单品、按近半年评分跌幅给商品排名;同一脚本上全量数据;用 Gradio 的 gr.Workflow 把五个 Python 函数连成画布上的工作流;gradio deploy 一键部署成 Hugging Face Space,每个节点都是一个可用 gradio_client 调用的 API。

● ● ●

排名查询:平均值骗人的时候

第一步的评分分布就解释了为什么需要排名查询。评论分布是 5 星一大坨加 1 星一小峰,两种极端 dominate,直接看平均分根本看不出变化。

所以查询比较的是每个商品「近半年均分」和「之前的均分」:

WITH split AS (
    SELECT
        parent_asin,
        rating,
        reviewed_at >= (SELECT max(reviewed_at) FROM 'clean/reviews.parquet')
                       - INTERVAL 6 MONTH AS is_recent
    FROM 'clean/reviews.parquet'
    WHERE verified_purchase
)
SELECT
    parent_asin,
    avg(rating) FILTER (WHERE NOT is_recent) AS before_avg,
    avg(rating) FILTER (WHERE is_recent)     AS recent_avg,
    recent_avg - before_avg                  AS change
FROM split
GROUP BY parent_asin
HAVING count(*) FILTER (WHERE is_recent)     >= 20
   AND count(*) FILTER (WHERE NOT is_recent) >= 50
ORDER BY change
LIMIT 10;

两个 FILTER 里的阈值(近端至少 20 条、历史至少 50 条)是防噪声的:一个月只来三条评论的商品,均分从 4.9 跳到 3.0 什么也说明不了。现场让大家改这两个数字,看榜单怎么变。

我在本机 DuckDB 2.0.0 上复现了整套逻辑:21 万条合成评论(按官方公布的分布形状生成,5 星 60%、1 星约两成、其余平摊),埋一个前 4.7 分、后半年掉到 1.9 分的商品。查询准确把它拎了出来,change 值 -2.88,断层式第一。评分分布也和官方描述对上:5 星 12.6 万条,1 星 4.2 万条,两头高中间低。

排名查询五步管线示意图

排名查询五步管线示意图

● ● ●

SQL 先过滤,LLM 才有活干

DuckDB 挑出跌幅最大的商品之后,再选出关于它最有帮助的 40 条近期差评。只有这 40 条进 LLM。

LLM 拿到的任务是把这些投诉按主题分组,带计数和引文,安全问题排在最前面。

为什么要这样分工?官方文档写得很直白:模型不用判断哪些评论相关,因为 SQL 已经做完了。这带来两件事:LLM 调用次数少,钱省下来;LLM 不用在 210 万条里捞针,幻觉空间被压到最小。

这套架构还有个容易被忽略的好处:可移植的是 SQL,可换的是模型。整条管线只用六个列:parent_asin、rating、text、reviewed_at、helpful_vote、verified_purchase。博客原文的说法——把别的客户反馈数据装进这六列,SQL 和工作流一行不用改就能跑。评论数据换成工单、换成 NPS 调查,排名逻辑照旧;模型从这家换成那家,重跑一次部署就完。

SQL 与 LLM 分工对照

SQL 与 LLM 分工对照

对没赶上现场的人,这就是 workshop 的可复制部分:一个下午、一份 22 MB 样本、一条 40 条评论的窄通道。剩下的只是把你自己的数据塞进那六列。

你会把自己手头哪份客户反馈数据塞进这六列?评论区聊聊。也欢迎把这套六列改造成你自己的领域版本——工单、差评、问卷,思路一样。

● ● ●

参考来源

  1. 01
    DuckDB 官方博客:DuckDB User Group Workshop on AI-Powered Review Analysis with Hugging Face(2026-11-17) https://duckdb.org/2026/11/17/duckdb-user-group-workshop-ai-powered-review-analysis.html
  2. 02
    Amazon Reviews 2023 数据集主页 https://amazon-reviews-2023.github.io/
  3. 03
    Gradio 官方文档 https://www.gradio.app/guides
  4. 04
    DuckDB 2.0.0(本机复现排名查询所用的版本) https://github.com/duckdb/duckdb