AI 产品
发布时间 2026.05.06
数据收集不再是关于数据,而是意图
当模型开始学习人如何使用软件时,真正有价值的往往不是点击本身,而是点击背后的意图与它通向的工作流。对 computer use,这层数据很重要;对 AI 原生工具,这一层会越来越弱。
Thesis
未来更重要的数据收集,不是把更多点击、键盘和页面轨迹囤起来,而是把这些表层动作往上还原成意图,再往前推进成工作流。对 computer use 场景,这层桥接数据很有价值;但对 AI 原生工具,它不会是最核心的一层。
Meta 开始收集员工的页面操作数据,想用来训练更懂意图的模型。
这件事第一眼很容易被理解成更强的监控,或者更激进的数据采集。但如果只从隐私或者监控去看,会漏掉一个更重要的问题:未来数据收集这件事,到底是在收什么。
答案已经不是“更多用户行为数据”这么简单了。真正有价值的,不是人点了哪里,而是这些动作背后在表达什么目标,以及这些目标最后怎样串成一条工作流。
Argument
4 月 21 日 Reuters 报道称,Meta 计划在美国员工设备上记录 mouse movements、clicks、keystrokes,以及部分 screenshots,用来训练可以自主完成工作任务的 AI agents。这条消息本身已经很说明问题:它要学的不是抽象知识,而是人怎样穿过具体软件去把事做完。
如果把这个背景放到 computer use 里看,会更容易理解。Anthropic 的 computer use 文档把这层能力定义得很直接:截图、鼠标控制、键盘输入。OpenAI 对 CUA 的公开介绍也强调 clicking、scrolling、typing 这类动作。也就是说,这类系统本来就是在学习一层“人如何操作现有软件界面”的通用接口。
所以在 computer use 场景里,Meta 这类数据采集是有意义的。因为当 agent 面对的是旧软件、外部网页、没有 API、没有结构化接口、也没有为 AI 重写过的产品时,点击本身就是它唯一能穿过去的桥。
但这件事真正值得往前想一层。点击从来都不是目的,它只是人在旧界面里表达意图的一种低带宽方式。人先有目标,再根据界面状态决定点哪里、停在哪里、要不要回退、要不要额外确认。点击只是最后落出来的一层动作壳。
未来点击这件事本身会不断弱化。对于 AI 原生工具,这层翻译根本不该那么重。因为如果产品一开始就是为 agent 协作设计的,真正该暴露出来的应该是状态、目标、约束、权限、上下文和可调用能力,而不是让模型先学会怎样像人一样绕着按钮走迷宫。
换句话说,computer use 学的是怎样穿过旧世界;AI 原生工具更应该直接把意图接住。前者需要大量交互轨迹来弥补界面和能力之间的断层,后者则应该尽量消灭这层断层本身。
所以这类数据收集里更重要的,也不是去分析“用户一般怎么用”。平均点击路径当然有价值,但那更像是模仿数据,不是理解数据。真正值钱的是业务流:人为什么在这里分叉,为什么在这里停顿,为什么明明界面允许继续却选择回头,为什么在某一步会找人确认。
这些地方往往才是 AI 和人最不一样的地方。人做事不只是执行动作,还会带着业务上下文、风险判断、例外意识和对后果的预判。很多关键差异,不体现在多点了一个按钮,而体现在知道什么时候不该点,什么时候该补一段上下文,什么时候该把任务交给下一角色。
如果数据采集只停在点击层,训练出来的很可能只是一个更会模仿动作的 agent;如果它能一路往上还原到意图,再进一步对齐工作流,训练出来的才可能是一个真正会做事的系统。
Model
数据层
交互痕迹
click、type、scroll、screenshot
页面状态
人当下看到了什么界面与反馈
动作序列
任务是怎样一步步被推进的
意图层
目标判断
这一步到底想完成什么
分叉选择
为什么走这条路径,不走另一条
停止条件
什么时候继续,什么时候回退或确认
工作流层
业务流
任务如何跨页面、跨工具、跨角色流转
例外处理
风险、异常和人工判断插在哪里
原生协作
AI 直接接意图,而不是先学点哪里
点击数据只有在能够被上提成意图、再被串成工作流时才真正值钱。对 computer use,它是桥;对 AI 原生工具,它只是过渡层。
Implications
- ·在 computer use 场景里,最有效的数据不只是 raw clickstream,而是带上下文、带结果、带分叉原因的任务轨迹。
- ·在 AI 原生产品里,更该优先建设的是意图结构、状态机和工作流接口,而不是把 GUI 操作日志当成长期核心资产。
- ·未来最有价值的人类数据,往往不是“通常怎么做”,而是在哪些关键节点上,人会比 AI 多做一次判断、回看、确认或拒绝继续。
Closing
数据收集这件事,往后看越来越不是关于看见更多动作,而是关于还原更深的意图,并把意图接成真正能执行的工作流。