周一篇关于AI的文章,并不讨喜,有人留言:说你的AI知识还停留在去年3月份。读完,我决定看看我的知识是否停留在,去年3月份。
首先在我学习了目前最新的AI知识,或者说大模型的知识后,的确原理还是猜字游戏,这个并未改变。但猜字游戏变得更加的复杂了。的确我有一些知识没有跟上,我这里总结。
当前AI中需要解决的问题是幻觉的问题,也就是我们提到的一本正经的胡说八道,这是因为预测机制中,每个词都在自己的概率范围内,被使用,而人类的思维的复杂性,以当前的AI的原理,通过猜词的方式是必然会产生“胡说八道的情况”。
那么现在的大模型怎么来像现在的一些模型减少幻觉的问题,我这里也总结了一下
1 输出同时是输入,这个方法是在猜字的游戏中,通过一边输出的结果,在加入到输入中,让整体的产生的幻觉的可能性降到最低.因为猜字游戏本身是一个概率学,每个token都是有概率的,那么概率大的会到答案中,概率低的会从概率中筛选出去,而回答的问题加入到输入中,就增加了概率的准确性。
我们可以理解为,你要做一个100%的卷面题,但是你做到10%的时候,你的10%可以加入到你的知识中,并且你学习了这10%的全部知识,而后面的90%里面有这10%的知识,那么你答对90%后面的知识的概率就会提高,以此类推,你答的越多,你整体卷面的正确率就越高。
这是当前解决幻觉的第一个方案。
2 思维链技术
其实这项技术和上面的技术有点类似,只是输入的文字不再是你输出的文字,而是在你输入的文字,尤其是一大堆文字的基础上,他会将这些文字进行拆分。拆分成一小段符合人类思维逻辑拆解问题的方式。
比如你说,我想去公园,带上我的小狗,小狗是蓝色的,小狗最近需要运动,我也需要运动,我早点吃点什么。
这些看上去是你早晨要干的一堆事情,对于AI思维链技术,就是将这堆复杂的文字,拆分成一段一段的,你看我上面的把这段文字变成一小段一小段。小段的文字有利于AI进行猜字游戏,提高猜字的准确率,且这些部分并无什么关联,所以拆小后会提高,猜字游戏的准确率。
3 软思考,这是一个新的大模型处理数据的方案,软思考是一种更新的推理范式,旨在解决离散 Token 推理的局限,让模型在连续的概念空间中运作,以前我们是直接从一个一个词里面推到出应该用那个词来解答这个词。
而软思考的方式是将多种形成的可能的词,都保留,然后每个词和后面的词形成一个链条,最后我们会形成多个链条的答案,最后将这些最优选(就是特别像人的思维方式的答案)留下来。
这也是现在我们的AI越来越和人一样的根本原因,同时也是我们疯狂消耗TOKEN的根因。如果说思维链(CoT)在纸上打草稿、分步列出公式;那么软思考(Soft Thinking)脑海里的模糊概念空间中先进行多维度的权衡和博弈,直到逻辑成熟后再转化为具体的文字。这种从离散到连续的转变,使得模型在处理深层计算任务。
除了这些,其实现在的AI越来越可以进行推理还有其他的原因咱们下期说。

本文分享自 AustinDatabases 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!