周五晚上的时候, 时间是七点整, 老板在那个群里用at功能提到了我, 他的原话说的是在周一需要汇报Q2季度的运营情况, 要求把PPT文件先交给他来看。我当时人正好还在地铁车厢里, 手机电池的剩余电量只有百分二十三。我手头当前正在处理的资料一共有三样具体的东西。
第一样东西是公司电脑文件夹里面储存着的十二篇周报文档, 第二样东西是一份关于爆款文章的数据统计表格, 第三样东西是包含有六张照片的产品图片文件。我这个周末必须要去全部完成三个工作任务。第一个工作需要是通过远程方式去调整相关文件的位置与格式, 第二个工作内容是需要制作好那份用于汇报的幻灯片PPT。
真是凑巧, 7月18日WorkBuddy刚在WAIC上发布了独立App, 主打的概念是人在外面可以靠手机来指挥电脑；DuMate走的路线也是远程Agent这种类型。我直接拿来用这两款AI做了个实测: 就在这周末, 看能不能实现不加班这个目标。
这里需要先介绍一下用于测评的素材情况, 总共涉及12篇周报, 这些周报是在4月到6月期间生成的, 每个月取4周的数据, 而且它们的结构是保持统一的；我在6月的第4周里设计了一个会让互动量数据显得异常的陷阱, 数值被设定为8500, 这与其他每周正常的380到2100的区间产生了巨大反差, 而那一篇周报的问题总结部分却描述了“数据回落明显”这种现象, 这实际上构成了自相矛盾的错误；另外还有关于爆文表现的数据表, 里面包含了15条笔记的记录, 时间范围是从6月15日到6月29日, 在这一时间段内的6月27日, 那篇题为“干皮底妆救星”的内容达到了12.8万的阅读量。
我目前身在外面, 手边只有手机。素材全都放在了公司电脑桌面上, 但我无法直接访问。
关于测试的边界情况, 需要特别说明清楚的是, 本次测试中PC端是始终保持联网状态的, 并且电脑从未关机。
对于断网情况、内网环境下的表现以及休眠状态后的恢复等场景, 我都没有进行实际的测试覆盖。因此得出的结论仅代表对当前这一特定版本的负责态度, 其他未测试场景可能存在的风险需另当别论。
先过门槛：远程调取与平台围墙
针对DuMate这个方面, 它的门槛是出现在配置上面。手机App发出指令以后, 它会回复说当前的环境是云端沙箱, 无法访问你本地电脑的文件。
想要操作电脑文件, 必须在PC端左侧栏找到连接应用, 绑定微信, 然后扫码授权。如果我要是在地铁上才知道这套流程, 估计已经坐过站了。这里需要对冲一句: 百度官方主打的是本地安全沙箱, 但手机App默认落在云端环境。
绑定操作完成之后, 测试流程跑通了, 具体步骤是找到了Excel文件、读出了最高数值128000、并且打包了6张产品图, 然而发现了一个权限方面的bug, 即每次访问新目录的时候系统会弹出权限确认对话框, 当发送文字为本次允许之后, 系统却显示已自动拒绝当前权限请求, 不过任务依然照常执行, 这种情况表现为系统显示的是拒绝, 但是实际已经执行了——这既属于一种安全设计, 同时也构成了一种安全风险漏洞。
整个链路的情况让人有点别扭: 微信仅仅充当了一个触发的入口, 可是结果却得传回去到DuMate App里面去。
这就意味着用户必须在两个不同的应用之间来回切换, 在遇到紧急场合的时候, 这种做法是非常容易把人的节奏给打乱掉的。
把
然后就是涉及到平台围墙的那一部分内容。我当时本来是打算让这个人工智能系统直接去抓取竞争对手在小红书这个平台里面的站内数据, 比如说要看看新品是什么时候发布的, 大促的时候都有什么样的玩法手段, 还有那些用户评论里的反馈情况, 因为以上这些都算是运营人员真正会去亲自去干的那些实际工作。
可是DuMate这个云端浏览器它没有办法用了, 连网页版都进不去；虽然WorkBuddy这个东西能够打开浏览器使用, 但是小红书那边必须得登录才能进去, 如果只是想搜索一些公开的信息的话, 那又抓取不到他们站内的动态变化。这两个产品最后都撞到了这堵墙头上无法前行。
这不一定是因为他们做的产品质量有多烂, 而更可能是因为那个平台本身的封闭性比较强导致的。我当场就改定了方案, 把原本准备的材料给换掉了, 直接用那份在本地已经火过的文章所对应的Excel表格里的内容去制作汇报用的PPT来进行展示, 这就是在我实际测试的过程中遇到的第一个真实出现的翻车状况。
做PPT：谁编数据，谁留痕
把爆文的数据整理成PPT文件, 在DuMate软件里面的启动向导环节会出现连续的三次提问, 问题是询问你想要数据概览还是深度分析, 问你是希望风格偏商务还是偏活泼, 再问你需要的页数是十页还是有更多内容的详细版本。
忙成那个样子的情况下, 我大概率是直接默认的。生成白底卡片式的样式, 在尾页上面带有"DuMate AI生成"这样的水印。WorkBuddy这边没有向导直接就去生成了, 风格是深蓝商务风, 信息密度要更高一些, 并且没有水印。
数据准确性这两边基本上是全都对的, 总阅读量是406931, 互动量是70000加, 图文和视频进行了拆分, 几百个数字都是没有错的。
WorkBuddy这个地方只有一个小毛病, 具体就是那个关于阅读量最高的前五名里面有三篇是放在周四到周六这个时间段里面发出去的表述是不太对的, 因为实际上这一共是四篇文章。
那个真正的分界线, 它就体现在, 那种从零里面弄出东西来的测试上面。我发出了一个指令。
要在那篇出了爆款效果的文章的后面, 再增加出一个独立页面, 专门针对该文章的评论区内容进行剖析, 把大伙儿最在意的问题都给梳理出来, 因为在后续进行汇报的时候, 领导方面毫无疑问是一定会就此提出疑问。
在这份Excel表格里面, 我们只能看到评论的总数, 这个数字是2100条, 但是具体的评论内容并没有被包含在里面。
DuMate编写了整整一页的内容, 其中百分之三十二的人是来求产品链接的, 百分之二十四的人是在追问使用步骤, 还有百分之十八的人在咨询肤质是否适配, 百分之十四给出了效果好评, 另外还有百分之八的人在对比其他产品, 剩下百分之四是闲聊。
这些百分比严丝合缝地凑成了百分之百, 通过条数倒推的话, 结果正好是两千一百万条数据。此外, 页面还配备了柱状图以及四条核心发现, 里面还包括了运营启示, 整个页面上没有任何有关“推测”这样的标注字样。
它的思考过程里面实际上有写明“无法直接读取2100条评论原文, 以下分析基于笔记主题、互动数据特征综合推断。”这句话。但是这段声明内容在交付页面上就不存在了。在对话里面它是诚实的, 在纸面上它就是撒谎的。
WorkBuddy把那个做法直接就给拒绝了, 它心里的想法是, 要是我自己去编一个叫做“大家最关心什么”的版本出来, 等老板走过来问我说, 你这上面的评论都是从哪里弄来的, 那我肯定就回答不上来了。
所以, 它就提出了一个B方案, 这个方案, 是基于标题来搭建一个可以做话题预测的框架, 不过, 在这个页面的时候, 它会清清楚楚地标注一句话, 说这是基于内容特征来推演出的结果, 并不是真实的评论数据。
这也就是两边在本质上最大的那个差别, 简单来说就是, 一边的人宁愿做错事情了, 也非要填满东西不能空着；而另一边的人, 宁可让那地方空着什么都不填, 也绝对不能做出错误的事情。
改数据同步这个事情, 大家已经见惯了。我把那款叫什么“约会心机妆”的帖子, 原本阅读量是32232的, 故意改成了16000, 原本点赞数是2711的也故意改成1200。
DuMate那边修改了4页联动的内容: 它的总阅读数显示为390699, 视频部分的总阅读数为82641, 倍数结果是2.49x, 占比数据是78.8%。这些数字看起来全部正确。但是页面没有任何已修改标注, 它是静默地完成了修改, 如果不逐格进行对比, 根本看不出改了哪里。
WorkBuddy改到了第9页, 是关于联动的一个问题。他在开口说话的时候先讲了这句话。他说这是一个很重要的改动情况。这个数字差了6700这个数值。于是他希望自己能够先把所有受了影响的数都算清楚。他要把这些数据理清之后再去修改文件。然后他把那一份完整的三级变更清单给弄出来了。
这里面包含了直接修正的情况。里面还包含了连锁汇总数的部分。里面也包含了连锁的结论部分。那个阅读排名的数据从原来的第3名跌到了第9名。在这些需要修正的地方, 他用橙色底来标记这些部分。他还附上了一段用于汇报的话术。这段话术说的是原始数据在那个录入的时候出现了错误。
修正完毕之后, 那个数据退出头部梯队了。
关于PDF这一项功能的转换, WorkBuddy这个应用在手机端能够实现一键生成PDf文件格式, 并且它的特点是完全没有水印的干扰；但是DuMate这款软件则需要用户先把它下载下来, 接着还得自己动手去除其中的水印部分, 只有完成了这些步骤之后, 才可以把文件转换成 PDf格式, 相较于前者来说这额外多出来的一个操作步骤, 毫无疑问就是给使用者增添了一个必须前往公司的理由。
整合周报：12篇里的那颗雷
当年那时候, 我确实就是被这种存在着自相矛盾问题的数据的询问给难住了, 到了这一次的时候, 我是特意地拿着同一个陷阱来进行了重新测量和检测。
读取汇总的情况如下: DuMate做了12篇, 结果全对, 还顺手多做了一个叫“月度趋势分析”的工作表。它又自作主张加了一列, 说是“内容形式”, 可是周报的原文里压根就没有这个字段。它给那个叫“早八快速出门妆”的内容标记成了视频类型, 但是爆文数据表显示, 这一篇其实是个图文内容。
WorkBuddy这个家伙呢, 12道题全都答对了, 不过在复盘要点里面写着“环比4月增长272%”这句话。要是按照它自己写的那个数据, 也就是说把每天5个人变成每天83个人的话, 按理算起来应该是增长了15倍多。至于那个272%这个数字, 到底是从什么地方冒出来的, 谁也说不清楚。
在关于环比口径的定义这个问题上面, 同一个句子之中所提到的“平均互动量”这一指标, DuMate这个系统默认指的是周均的数据情况, 而WorkBuddy这个系统默认指的是篇均的数据情况, 当面临这样的模糊指令的时候, 人工智能自己会去选择相应的计算口径, 这种状况本身就是一个很大的陷阱, 在那颗涉及8500这个数字的风险点面前, DuMate并没有提出质疑的意思, 但是它又多做了一步敏感性分析的动作, 把那个异常值剔除掉以后, 前三周的均值变成了1833, 相比于5月的那个数据来说, 增幅达到了66.6%, 整体的结果还是比较健康的, 但是看起来并不像是在表面上表现得那么夸张。
WorkBuddy全盘予以接受, 并将其直接写入到“可直接写进汇报”的总结之中, 该部分的总结内容具体为: “单篇带动全月互动爆发。
”。
提醒他们去查明异常情况之后, 双方的工作人员各自干起了侦探的活儿。
DuMate这个团队主要扮演内部矛盾侦察的角色，他们一把揪住了那个所谓的“数据出现明显回落”与8500这个数字不但没有下降反而上升了四倍之间的自相矛盾之处, 做了偏离度的计算分析（这里8500是第一周的四倍、季度每周的平均值的八倍）, 直接就给出了一个假设性的判断, 让大家去确认一下那个数字是不是在写的时候多打了一个零。
WorkBuddy就像一个跨文件的侦探, 它能主动翻开那些被引爆的Excel表格文件, 把6月22日到6月28日这一整周的笔记进行互动操作的数据全部加总在一起, 最终算出来的数值是45151, 这个数字去跟8500进行对比的话, 能得出一个大概是5.3倍数量的差距, 但是在方向的问题上却完全拧反了: 因为在这些被引爆文件的Excel表格里边有一条单独的文章所引发的互动就已经达到了26200这么庞大的量级, 所以从这个特定的视角出发去观察的话, 周报里的850这个数字不仅不算偏高, 反而是属于偏低的状态, 基于这种情况它给出了一种比较温和一点的理由来解释说明这个情况。
一个是判断得准确, 一个是眼光看得到广泛。
问题的归类这件事, DuMate分成了7类, 这个数字基本上没有什么争议的地方。
WorkBuddy增加的那个写着“演变趋势”的列, 表现得很出色, 它指出了四月份是拍摄任务完全做不完, 到了六月份就变成了成本超出了预算, 而且问题的严重程度在不断升级, 但是这里面也有硬塞进去的数据凑数的情况, 具体就是, 把四月份第四周那个拍摄光线不稳定的问题, 硬算进了效率与成本这一类里面, 以此来凑够4次的次数, 在向老板汇报的时候，如果被老板追问到底细的话, 人很可能会因为准备不足而卡壳说不出话来。
这份复盘报告才是真正的看点所在。DuMate这个工具的Word模板结构是最为完整的, 总共有六个章节, 不过里面关于“八百五十个”这个数字的时候它突然失忆了。
因为它在之前的过程里明明已经说过一句“可能多加了一个零”, 可最后呈现在纸面上的时候, 那句话就被软化处理成了“因为太过依赖单篇内容而产生的风险方面需要加以注意”。
更加麻烦的情况是关于内容这一部分形式的完成度传播与放大效应: 最开始是待在有电子表格功能的那种表格里, 接着又被写进了Word文档里，随后升级成为了最终的结论, 也就是那八个字所代表的含义“打造爆款的公式是用痛点加上解决方案标题再加上图文的形式”。
有一个字段连来源都说不清楚, 但在过了三步之后, 竟然硬生生被包装成了专门用来给老板做汇报的方法论。这里还露出了一个底细: 它的那个计算口径竟然出现了偏差, 具体表现是把7月份的第一周给算进了第二季度整体数据的大盘子里面去。
这一加总, 结果就凑出了八十四篇、三千一百零七人以及两万三千二百三十次这几个数字出来。结果呢就是, 当老板开口问道第二季怎么会存在八十四篇这么多时, 这个错误就直接当场露馅了。
WorkBuddy这个数字基本全对, “6月贡献66%”, 还有“是4月的6.3倍”这些内容, 都准确, 但是8500同样失忆, 而且把数字写进开头, 变成了核心亮点里的一句话, 写着单周带动互动8500次, 它还默认了一个不存在的团队, Q3计划分配了社群运营、数据运营、电商等负责人, 我明明一人多岗, 结果它给我安排了一个部门。
追责与版本坑
两个关于追责的现场, 所有的情节和戏份都在这些地方发生了。
在第一次的时候, 我问了内容形式是从哪儿来的这件事儿, DuMate认错认得就像教科书里写得那样标准, 它说的是这个很有可能是我在整理资料的时候自己补进去的东西, 这属于我没有严格地忠于你的原始数据, 这种做法是不应该的, 它还主动地要求把原始的周报发给它们去重新地进行对照检查。
WorkBuddy交代了完整的制作过程, 他说: 形式标注的信息来源于那个爆文的Excel文件, 但是那一份表格仅仅覆盖了六十天五月十五到二十九号这期间的十五篇文章, 四月和五月的情况我是不知道的, 那句话是我根据六月里的数据做出的推断, 所以并不够严谨。
他还给出了两个整改措施。两方人员都接受了这些理由——但这都是在你进行问询之后才承认的, 要不是你问起来的话, 那个编造出来的字段就会一直留在报告之中, 假装自己不存在。
第二次，我摊牌：
还有一件事情需要说明, 关于6月第4周那个互动量数据, 我之前因为操作失误写成了8500, 实际上正确的数字应该是1800, 所以请你协助我把数据总表以及复盘报告里面的相关信息都更正一下。
DuMate决定采用技术手段进行处理, 重新调取当时用于制作表格的Python代码脚本, 接着对这个脚本进行了修改并再次执行生成操作, 从而让所有关联的数据都得到同步修正。
具体改动包括将6月份的整体互动数量由14000调整为7300, 把单次互动的成本指标从0.46调整为0.89, 同时把描述趋势的文字也一并改写为“环比增长66%”。
可是, 在检查Word格式的最终复盘报告时却发现, 里面遗漏了一些改动信息, 数字8500、14000以及百分比数值60.7%依然还保留在原位置没有更新到位。这种情况下, 我就不得不追问一声: “复盘报告这边是不是没有改全? ”直到我提醒之后, 系统才补充完成了相关内容的更新。
WorkBuddy去走那个业务审核的流程, 对链条上的14条修改意见全部都确认是正确无误的, 这里把第二季度的总的互动数量从原本的20630这个数字调整到了13930, 篇均互动量也从519调整成了270, 环比增长的数据原本说是加上218.2%, 现在也改成了加上65.9%, 这一系列的操作没有任何遗漏和疏忽的情况发生。
然后在Word文档的顶部位置标记上【已修正】这样一个标识, 接着把受到上述影响的那些段落内容全部重新改写完毕, 并且作者还自己在文中明确地写下了原结论是基于之前错误的8500数据这一说明。不过, 那个旧的汇总表格并没有进行更新。
在趋势这个电子表格里面, 显示的数字仍然是14000以及20630。新旧两份Excel数据摆放在桌面上互相冲突。即便是在星期一因为拿错了文件而出了纰漏, 这种现象通常也被叫做版本蔓延。人工智能系统并不会自行处理这类事情。必须由人工主动去执行删除操作。
结论：这个班加得冤不冤
实测的那个结果就这么明摆着放在这儿了, 这就是那个最终的总结论。
WorkBuddy这个产品的优势在于它具备良好的商业判断能力, 它能把业务口径区分得清清楚楚, 例如七月数据明确不算入第二季度成绩里面, 它在纠错环节坚持先进行算账操作, 并且保证整个流程都有痕迹可查。
DuMate这个产品的优势在于其工程习惯比较好, 它通过脚本来修改数据, 对于变更内容的标注做得非常漂亮, 分类方式也很干净, 坚决不强行填充无关信息。
这两家公司的共同致命弱点都非常明显: 只要错误的数字不被追问, 它们就可能会把这些数据塞进报告里, 只要有关字段的问题不被问清楚, 那些编造出来的内容就会被当作事实处理。
AI技术虽然懂得数字运算, 但它根本不懂企业的组织架构是怎么回事, 它不会主动帮你收拾桌面上的烂摊子, 这一点就像它绝对不会替你承担责任的道理是一样的。
如果你经常被老板追问这个数据是怎么改的, 并且需要有可追溯的记录来保护自己, 那么你可以考虑选择名为WorkBuddy这样的工具, 因为它具备三级变更清单还有橙色标记的功能, 这在职场上可以作为一种保护自身的凭证。
如果你是从事数据处理工作且链条较长的人群, 同时又习惯于使用脚本进行技术型运营的相关工作的话, 那你更适合选择一个叫做DuMate的工具, 但是你必须对每一个页面上的所有交付内容进行亲自核对, 同时还要自己手动编制相关的字段信息。
对于那些希望拿到工具就立即能够上手使用的人来说, 其实上面提到的那两个方案都不符合这种需求, 一个是DuMate在前置条件上存在较高的门槛, 另一个则是名为WorkBuddy的工具有后续操作方面的门槛限制, 因此这两个都不是理想的选择。
当你要使用AI来开展汇报工作之前, 必须去做好四步校验。
1. 需要把原始的文件拿来仔细检查一下, 看看里面是否存在有由人工智能凭空捏造出来的那些列, 就比如说像“内容形式”这一类的东西, 因为这种东西本来在周报里面是完全不存在的。
2. 检查异常极值是否被美化（如8500变成"核心亮点"）
3. 确认统计口径，区分季度和月度数据（Q2有没有混入7月）
4. 查看修改记录，确认无静默改动、旧文件及时清理
我手里拿着20个文件, 花了几天几年的时间, 去反复做当年那个特别倒霉的周末发生的事情, 朋友说我这么闲干什么呢, ——图的就是这一次被问住的不是我本人, 而是人工智能, 以前的时候我没有这些工具, 我去了公司, 到了周一的时候被8500问住了, 这次再做一遍测试, 两家人工智能照样把8500写进了报告里面, 只是进入的方式更花哨。
这个班次可能还是没有办法减少, 只不过现在的工作内容不再是以前那种纯粹为了整理数据而从事的辛苦劳动了, 而是需要一个人安安稳稳地坐在电脑屏幕前面, 去一点一点地检查那些由人工智能技术自动生成的每一个页面。
在过去的那个时候, 我所担心的主要问题是自己因为手部的不随意动作所导致的小小失误或者疏忽, 而此时此刻, 我所面对的考验则是需要反复验证人工智能系统所展现出的所谓智能是否正确无误和可靠。
（周报及爆文数据均为测试素材）
