这称为“幻觉”,其本质原因是:生成式AI的核心是选择流畅连贯的文本,确保文本正确性并不是其首要目标(太困难)。具体来说,AI从训练数据中学习词与词之间共同出现的概率,然后从回答的第一个词开始,逐步预测下一个词的概率分布,选择概率最高的那一个。在这个过程中,如果AI的理解有偏差,就可能犯错;而一旦犯错,因为后续词语的预测是基于前文,很容易把错误放大。最后生成的文本就会出现大量“幻觉”——一本正经地胡说八道。
这称为“幻觉”,其本质原因是:生成式AI的核心是选择流畅连贯的文本,确保文本正确性并不是其首要目标(太困难)。具体来说,AI从训练数据中学习词与词之间共同出现的概率,然后从回答的第一个词开始,逐步预测下一个词的概率分布,选择概率最高的那一个。在这个过程中,如果AI的理解有偏差,就可能犯错;而一旦犯错,因为后续词语的预测是基于前文,很容易把错误放大。最后生成的文本就会出现大量“幻觉”——一本正经地胡说八道。