气海拾遗 | AI文献图片检索：从国际G到国产G

气海拾遗 | 多模态大模型的按图索骥功能

前言

近日一位从事ENSO研究的朋友向我求助,表示他手头有一张图片,尝试了多种方法却始终无法找到对应的原始文献。这让我联想到之前曾撰写过一篇关于科学图片检索的经验分享(链接:https://mp.weixin.qq.com/s/VWU-6F5tG9r2K9vvIOFK2Q),遗憾的是,文中所介绍的传统检索方法对这张图片并不奏效。没想到装逼失败。

但是呢，小编灵机一动，想到多模态大模型已经具备了强大的图像理解与知识关联能力。不妨尝试将这些模型作为"图片搜索引擎",说不定目标文献已经被纳入了其训练数据之中。

带着这样的想法,我决定对比测试国际知名模型G与国内风头正盛的模型G的检索能力。

国际的G

首先尝试的是国际知名模型G。输入图片后,该模型给出了如下响应:

image

image

根据模型提示,我们下载其推荐的文献进行验证。结果令人惊喜:模型识别出的是延世大学发表在International Journal of Climatology上的论文"Mid-latitude leading double-dip La Niña",其摘要内容如下:

"理解厄尔尼诺和拉尼娜事件之间的演化不对称性是具有挑战性的。与厄尔尼诺不同,大多数拉尼娜事件以双峰冷却(也称为多年拉尼娜)为特征。在此,我们通过分析观测数据集和气候模型数据集,研究了单年和多年拉尼娜事件的差异。单年拉尼娜事件往往在赤道附近狭义地发展,起源于太平洋中部的厄尔尼诺(Niño-4 > Niño-3),而多年拉尼娜事件则起源于东太平洋的厄尔尼诺(Niño-3 > Niño-4),并通过太平洋纬向模式与中纬度地区相互连接,导致赤道外低层大气反环流的纬向响应更宽。由于反气旋环流通过斯维尔德鲁普输运控制赤道上层海洋热量的补给量,对于单年拉尼娜,由于反气旋环流更窄导致的高效海洋补给会导致快速过渡到厄尔尼诺或拉尼娜的快速终止。相反,对于多年拉尼娜,补给较弱导致表面冷却持续存在,导致下一年再次出现拉尼娜。"

image

image

虽然该文献中的图表与原图并非完全一致,但二者在模态特征和研究内容上高度相似。此时我已觉得可以向朋友交差了。

国产的G

转念一想,如果进一步使用国产大模型进行检索,或许能够得到更精确的结果,甚至可以对比不同模型的性能差异。于是,我将目光投向了近期备受关注的智谱AI及其旗下的ChatGLM模型。您猜怎么着

image

image

结果非常地amazing,ChatGLM给出了完全不同的答案。

让我们检索一下该文献:

image

image

原来是中国科学院海洋研究所发表在Nature期刊上的重要研究成果。这一次的检索准确率达到了100%,想必朋友会非常感动吧。

小结

通过本次对比测试,我们可以得出以下几点认识:

第一,多模态大模型在科学文献检索方面很有潜力，我盼着deepseek、kimi也整整多模态大模型，向谷歌等巨头发起挑战。

第二,模型的选择至关重要,在实际应用中,建议尝试多个模型进行交叉验证,以提高检索的准确性和可靠性。

第三,智谱AI、MiniMax等国产大模型厂商相继完成融资,获得了充足的资金支持,这将加速模型迭代升级,推动国产大模型在性能、应用范围和用户体验等方面的全面提升。超越御三家的日子不会太远。

展望未来,随着多模态大模型技术的不断成熟和应用场景的不断拓展,我们有理由相信,这些模型将在科研辅助、知识检索、学术交流等领域发挥越来越重要的作用,为科研工作者提供更加智能、高效的支持。

写到这里，我不禁想问：到底大模型帮我们科研呢、还是我们在帮大模型科研？