工具

AI 回答可信度自检:这个回答能直接用,还是必须自己核?

AI 答得头头是道,不代表它说的是真的。回答 4 个问题,弄清这条回答你该信到哪一步。

先说清楚:这个工具不会去"读"你的 AI 回答,也没有任何模型在背后打分。它只是把《大语言模型到底在“想”什么》那篇里的判断方法,整理成一份你可以当场过一遍的清单。核心就一句:大模型擅长“说得对路”,不保证“说得属实”,所以语感活放心用、事实活必须核。

1你让 AI 做的事,最接近哪一种?
2这个回答里,有没有具体的数字、人名、日期、引文或出处?
3它给的事实或出处,你能去权威来源核对吗?
4如果这个回答是错的,代价大吗?

    为什么这样判断

    道理很简单:大模型的目标是把话接得自然,不是核对事实。所以凡是“怎么说、换个角度”这类语感活,它是主场,放心用;凡是“具体的、可被查证的事实”,它随时可能编得一本正经。错了代价越大,越要自己核一遍,而不是被它的笃定语气带跑。

    记牢一句:模型的“自信”和它的“正确”之间,没有任何必然联系。它语气最斩钉截铁的时候,恰恰可能是它编得最顺的时候。

    三个实际例子

    把逻辑套到具体场景上,更容易看明白。下面是三种每天都有人提的请求,以及这套自检分别给出什么结论。

    让它改一封邮件的语气。你把一段写得太硬的话贴进去,让它改客气一点。这是纯语言活,没有引入任何新事实,就算改得不合你意,代价也几乎为零。自检的结论是「语感活,放心用」。这是模型的主场,在这儿反复怀疑它,多半只是浪费你自己的时间。

    问一个历史日期。你问某个条约是哪一年签的,它给了一个具体年份。现在出现了可被查证的事实,而模型说错年份时的语气,和说对时一模一样。如果这个日期要写进一份报告,代价算中等,自检就会告诉你:至少把这一个数字拿去权威来源核一遍,再当成定论。

    问药该吃多少。这是关系到健康的重大决定,所以不管它答得多详细,自检都不会放行。结论是「不能只靠它」:AI 的回答可以当背景阅读,但决定该交给有资质的专业人士或权威来源。出错代价太大,正是这个工具把这一类单独拎出来的原因。

    这个自检帮不上你什么

    先把它做不到的事说清楚。它不会去读你的 AI 回答,也判断不了其中某一句是真是假。它不替你检测幻觉,不给回答的正确性打分,背后没有任何模型在跑;这里根本没有 AI,你选的任何一项都不会被发送到别处,也不会被保存。

    它能做的很窄:把你本来就该做的判断整理成一个结构,让你不容易被笃定的语气带着走,更可能停下来去核那一条真正要紧的事实。核对本身,仍然是你的活。

    常见问题

    这个工具能替我检测 AI 幻觉吗?

    不能。它背后没有模型,也从不读你的回答,所以认不出某句话是不是编的。它做的是把最容易出现幻觉的情形标出来,比如你还没核过的具体事实,然后推着你去核一遍。

    结果说「放心用」,是不是就一定没问题?

    不是。它说的是这类任务出错的代价低,不是这条回答一定对。语感活出了错你自己看得出来,也好改回来,这才是可以放心的理由。

    我选的内容会被发到哪里吗?

    不会。整个判断都在你的浏览器里完成,没有任何请求发出去,也没有任何东西被保存。这也是它不需要你登录的原因。

    换一个更强的模型,是不是就不用核了?

    更强的模型出错更少,但不等于不出错,而且它出错时的语气不会变弱。该不该核,看的是这条事实错了代价多大,不是哪个模型答的。

    方屿
    方屿 · 未来观察主编

    这套判断方法来自我天天用 AI 的习惯。它帮你少踩“一本正经的胡说”,但代替不了你亲手核对关键事实。了解更多