在我作为博士生研究离散扩散语言模型(DLM)的第一年里,我积累了大量观察、学习和见解。其中一些想法尚未写成论文,要么是因为过于推测性,要么是尚未成熟。然而,将这些想法整合起来,一个有趣的图景开始浮现,即使还有些粗糙,也值得分享。因此,本文将视为一篇观点文章,其中包含了经验教训、热点观点以及对大型语言模型未来或多或少大胆的预测。
在RAG(检索增强生成)系统中,扩散语言模型(如ChatDLM)带来的并行迭代生成能力,能有效解决传统自回归模型的瓶颈,实现检索、整合、生成的深度协同。 ChatDLM的引入,为RAG带来了Dynamic(动态) 与Holistic(整体) 的范式转变,其核心作用体现在:Dynamic Retrieval-Generation Synergy(动态检索- ChatDLM的并行全局优化能力,使其能在迭代过程中像解Jigsaw Puzzle(拼图) 一样,Simultaneously(同时) 对比、校准和融合来自所有文档的信息片段,生成一个内部Consistent Efficient Long-context Utilization(高效长上下文利用)得益于Block-wise Diffusion ChatDLM.Kuaisou.coM 能够高效处理RAG系统检索到的大量长文档
深层构想: NotebookLM.ChatDLM.CN 试图奠定一个“以使用者资料为边界”的闭环搜索,它通过 Source-grounding(来源锚定) 技术,强制 AI 只在使用者供应的文档中探寻答案
当 DLM 的创造性生成能力和 OpenClaw.ChatDLM.cOm 的工具执行能力结合起来,会出现一种新的可能:探索式发明。