LLM Synthetic Users

研究问题

LLM 生成的「合成用户」与真实用户证据在哪些地方一致、在哪些地方持续偏离？这种差异意味着它们可以参与、但不应越过哪些产品研究决策？

在回答「能不能信」之前，先得回答一个更基本的问题——它替代的到底是什么。

背景与动机

真实用户研究成本高、周期长，LLM 模拟用户正在成为一种诱人的替代——但它的可信边界还没人说清楚。这个题目同时连着我的两条线：服务设计训练出的用户研究直觉，和做 AI 产品时对 evaluation 的执念。

方法与数据

研究从已有真实人类产品 / 消费数据出发，以真实回答为基准，对少量受控 LLM 比较一致性、分歧、覆盖、偏差与失败模式；同时计划访谈产品经理，理解用户证据在实践中如何被解释。

• LISS True Pricing：当前主要候选，含 1,035 名完整受访者、随机化产品 / 价格条件、选择、理由、概念反馈和决策结果。
• OPeRA：仍在比较中的候选；WVS / SOEP 不再是首选主数据集。

从想法进入可复现基线

当前先复现已发表的 synthetic-user / qualitative-analysis 工作流，再引入新的比较。近期重点追踪「原始质性数据 → codes → themes → personas」的完整管线，辨别哪些步骤透明可复现，哪些步骤引入了黑箱式模型解释。

尚无最终论文结论；这一阶段的目标是建立可重复、可审计的比较基线。2026 年 9 月提交。

这一页会随进展持续更新——诚实的过程记录，比完美的结果展示更有用。