虫友们，请保持对 AI 幻觉的战术性警惕

转博主@于赓哲（高校历史学教授）的一条吐槽，继续强化对 AI 幻觉的警惕。

某最近大热的 ai 大模型，我就不说是谁了，真是学习的利器呢，我让它写一个研究综述，10 条里边至少三四条，是它自己伪造的（他还伪造了一条我说的话），史料也有伪造的，关键是它的文言文写得很好，你还看不大出来，我还一个一个查原文出处，等于把相关问题自己又回顾了一遍，真是促进学习的小帮手，给你个👎🏻👎🏻。

它要是全都是伪造的，我也就一笑而过了，问题就在于它一部分是真，一部分是假，真假掺杂在一起，反倒给我增加了很多工作量。

又查出来一条假的，能让我们看到它是如何造假的——它把册立秦王李世民为太子的诏书，词句前后顺序打乱，重新组装一下，冒充册立李恒（唐穆宗）为太子的诏书，乍看字通句顺（古代这类诏书一般都有很多雷同套话），哪里看出破绽的呢？就在于“戡翦多难，征讨不庭”一句，李恒这个公子哥，从小就是他妈妈郭妃的妈宝男，哪里有过冲锋陷阵的事迹？然后赶紧检索原文，果然是假的。

并且，幻觉不分文理，可别以为「占理」就安全。

@嘉木0307:在科技和工程领域也很会编，我问了一个 mems 超声散热器方面的问题，不但编了论文还编了专利号。非常具迷惑性的是，他提到的期刊和会议的确是业内顶级的，但是论文找不到。专利号也是真的，但是按照专利号查到的东西又驴唇马嘴。

@根号十一嘞:是的诶，我写了一段化学的内容让它帮我优化，它指出我写的笼统、无数据支撑、不可信，优化后加入了大量数据，提供了索引论文，我一搜，毫无关系！它后加进去的数据，大多是它编的！

这是 AI 碰上教授了，容易被识出破绽。而非专家类用户呢，更需战术性警惕：AI 回答里超出自己认知范围的内容，先验证，再应用。

你是 AI 的受益者还是受害者？或许一个关键点就在对幻觉的警惕性。

非常赞同，各地都是大力推广使用，却没有提到对此警惕，当大部分人使用且不具备分辨能力，盲目的相信，是否久而久之，这些真假难辨的信息，到最后会以假乱真。

就在本周周五上午，我用某ai检索工程相关的资料。然后它原文引用的GB文号，一本正经的胡说八道：XX国标中防水章节第XX节提到-要在做防水前刷墙固，以增加墙面的附着力。我看到这句话后就懵了，啥时候说了防水前要刷墙固，还标准文件。关键是墙固国家就没有很明确的规范标准文件。然后我去国标库一查，发现果然没有。它自己瞎编噢。

对 ai 来说，所有数据在条件具备的前提下都可能是真的，你跟他说太阳是水果，它也认。

写毕业论文的时候，问了几个AI，给我的参考链接乍一看还行，一问细致一点发现是他们编造的……

补充信息：AI Search Has A Citation Problem - Columbia Journalism Review。

Tow 数字新闻中心对八种具有实时搜索功能的生成式搜索工具（ChatGPT、Perplexity、Perplexity Pro、Copilot、Gemini、DeepSeek、Grok 2 和 Grok 3）进行了测试，以评估它们准确检索和引用新闻内容的能力，以及它们在无法检索和引用新闻内容时的行为方式。进而发现——

• AI 通常不善于拒绝回答他们无法准确回答的问题，而是提供不正确或推测性的答案。
• 高级版 AI 比免费版提供更自信的错误答案。
• 多个 AI 似乎绕过了内容平台阻止爬虫的协议去编造而非拒绝回答。
• 生成式搜索工具伪造了链接，并引用了转载和复制的文章版本。
• 与新闻来源的内容许可交易并不能保证聊天机器人回复中的准确引用。
  

当大肆推广某个东西的时候，就要警惕了。

市场 AI 的首要任务不是有用，而是让人们觉得 AI 有用。

柏舟不寐 发表于 2025-2-20 17:17
难道训练 ai 用的数据也是假的？

或者 ai 发现，人类在对他的回答打分的时候并不会去追究他给的链接是否存 ...

https://www.ibm.com/cn-zh/topics/ai-hallucinations

难道训练 ai 用的数据也是假的？

或者 ai 发现，人类在对他的回答打分的时候并不会去追究他给的链接是否存在，而是评价他的语言流畅性更多一些，造成这种结果应该是训练方式的问题，在训练方式上改一下应该就可以了（虽然我不知道怎么搞），目前在深度思考时引用的网页都还有效，只是大部分都是同一网页的多个结果。

AI 幻觉问题一直是一个大问题，只经过大模型后的输出，依然存在幻觉问题，幻觉不可避免，只能降低，所以用的时候要审查

网络上数据有真有假，主要是源头有问题吧，AI 的数据来源能不能识别真假？

人类在一本正经的胡说八道，那么 AI 的数据都是来自于人类提供的信息，你怎么能指望他回答的都是对的。除非投喂 AI 的时候可以做到完全摈弃虚假信息。

一般只是用ai来给思路，给自己启发，不可能将其作为依据。

赞同

事实AI在编写文书过程中漏洞百出，自己还要花费更多的时间成本进行审核修注。

确实要小心AI幻觉，支持

啥也不说了，楼主就是给力！必须要支持一下啊

啥也不说了，楼主就是给力！必须要支持一下啊

可以通过提示词来减少幻觉的影响

目前的AI就是概率推测，它回答的结果只是有大概率为正确的答案，需要反复加条件反复问，得出的答案才能尽可能的准确