主题:【原创】AI 幻觉 -- 孟词宗
- 共: 💬 21 🌺 79
- 新: 💬 21 🌺 7
这些天与同事们探索CPU 某个特殊应用。为了实现自动化,我们想找寻能实现该应用的API,遍寻开发手册也没找到。
于是放狗去搜。Google第一个Search Result,即AI overview,洋洋洒洒,一本正经、言辞凿凿的给出了置顶答案,甚至给出了该API 的代码,其中一个“关键字域”(attribute field),与我们手动设置时的界面提示高度吻合(其实就是几个单词的合并)
当时我们还挺高兴,以为终于找到答案了。于是同事们专门安排时间准备实验环境,调试验证。结果折腾了半天,怎么也实现不了AI给出的方案,尤其是AI给出的那个API,根本调不通。
没办法,只好回归传统办法,在大组里问专家。该产品的资深专家用实验结果告诉我们:我们想找的,也就是AI编造的基于那个“关键字域”的API,压根就不存在 ----- 该产品及API集全部是我公司自己写的,公司这方面的产品专家当然知道这个API存在与否
没办法,这几天的时间算是白费了,现在只能再找研发部门商量想另一种技术途径。
令我特别生气的是,AI给出那个置顶答案,无中生有也就罢了,居然还那么一本正经,摆出一副权威专家的语气来骗人。
我还想这是不是我运气不好,遇到的偶然小概率事件啊?于是今天上午改了一下搜索关键词,结果尼玛,Google又给出置顶AI overview,同样的洋洋洒洒,一本正经、言辞凿凿的胡说八道,编造了另一个无中生有的、基于另一个“关键字域”的API,事实上却完全不存在,我简直给气乐了。
这次我留了点心,一篇一篇的通读AI答案右侧的相关参考文选(AI的结果就是由它们生成) ---- 直到确定确实不存在AI编造的所谓”API“,终于确认AI就是在无中生有的骗人。
这还得亏是调试自家产品,还有产品专家验证真伪。如果是其他客户们也误信了AI的搜索结果,组织人力花了很大的时间成本却实验不出AI编造的无中生有的答案 ---- 用户若发起火来骂娘,是怪AI骗人呢,还是怪我单位API不好用呢?
感觉至少现阶段,AI吹的有点过了,尤其是一点也不能骗人的技术领域。
AI编编文科段子、糊弄历史倒也无伤大雅,可别无中生有的编技术段子骗老实人嘛,从事技术工作的大都是老实人,往往被误导了一条技术道路走到黑,不碰南墙不掉头。再说,AI装专家一本正经的编技术段子,在关键之处糊弄人,技术人员事后验证真伪的成本实在不小。
- 相关回复 上下关系8
🙂走多条路线吧 4 陈王奋起 字611 2025-03-05 14:25:13
🙂他说的有道理,昨天我找白藤村,查到了马汉民,这是一个2007 4 真离 字288 2025-03-05 22:56:38
🙂网络搜索是不可靠的 5 孟词宗 字998 2025-03-05 17:24:07
🙂AI辅助的技术搜索结果,无中生有的很多,一本正经的骗人不少
🙂AI这种幻觉很快就会消失 2 陈王奋起 字465 2025-03-06 08:01:21
🙂还有人在故意投喂,污染AI。 履虎 字0 2025-03-06 05:10:38
🙂幻觉这点很头疼 3 懒厨 字122 2025-03-05 05:41:13
🙂对于商业应用肯定不是这么弄的 3 北京北京 字594 2025-03-05 22:14:53