之前写了一篇:LangChain创始人回应为啥不做托拉拽的智能体工作流 正好今天看到零一万物的一篇讲AI工程落地的文章,观点很相似。
AI 圈的号召力极大,且由于贾扬清的朋友圈内容指示称套壳模型的做法是“把代码里面的名字从 LLaMA 改成了他们的名字,然后换了几个变量名”、在 Hugging Face 被海外工程师指出,碰巧几天前零一万物上传到 Hugging Face 的大模型 Yi-34B 被指出其除了有两个张量被重新命名后、完全使用了 LLaMA 的框架,于是: 在黑盒子般的逻辑链推导下,成立不到一年的零一万物成为了贾扬清在朋友圈声讨的 而讨论开始后,零一万物官方很快在 Hugging Face 与媒体平台中作出回应,表示团队确实沿用了 LLaMA 与 GPT 基础架构,并会将代码更新,重新命名,以符合大模型开源社区的要求。 在零一万物之前,不少国内知名的大模型公司都曾经“中过枪”,只是因为没有大 IP 的造势、才没有引起如此广泛的讨论。而这类“套壳”说法背后的依据,也主要是“沿用 LLaMA 架构”。 在零一万物的最新公告中,零一万物也坦承其采用了往通用化逐步收拢的 GPT/LLaMA 的基本架构,但也着重强调: 1)在训练 Yi-34B 与 Yi-6B 的过程中,零一万物的团队也是根据实际的训练框架重新实现了训练代码
只提供了http接口和python的sdk。 所以Java如果想使用,可以采用http接口调用。
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 写在前面 零一万物的模型争议有很多,不论是在海外的社交媒体平台,还是在国内的知乎和一种科技媒体上,不论是针对模型、代码、还是针对团队,甚至针对这家公司的一把手,李开复,都有非常多不同角度的唇枪舌剑之争。 Cuda compilation tools, release 12.2, V12.2.140 Build cuda_12.2.r12.2/compiler.33191640_0 下载合适的模型文件 零一万物的官方模型发布页面是 最后 关于零一万物 34B 模型的基础使用,先聊到这里。后面有机会,我们继续聊聊一些更实际的使用,包括 SFT、将这个模型接入到流行的开源应用中。 那么,就先写到这里吧。
“零一”即01,代表的是数字世界,从零到一,乃至宇宙万物,寓意“零一智能,万物赋能”。彼时,李开复的决心是做一家世界级公司。两年过去了,公司做了战略转型,停止万亿参数模型的研发。 62岁高龄的李开复,再度启程,创立了零一万物,全力投身AI大模型赛道。 零一万物于2023年5月正式注册成立,公司的名字象征着李开复的AI创业“从零到一”。 李开复朋友圈(图自网络) 根据李开复当时的朋友圈,零一万物要在全球范围号召世界级的人才,一起打造一个世界级的公司。 随后,零一万物进行了战略调整,最终公司决定放弃原定的超大模型。 而且值得注意的是,国内近两年,随着字节跳动、百度等大厂在大模型领域的快速迭代,零一万物作为初创公司的生存空间被挤压。
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 写在前面零一万物的模型争议有很多,不论是在海外的社交媒体平台,还是在国内的知乎和一种科技媒体上,不论是针对模型、代码、还是针对团队,甚至针对这家公司的一把手,李开复,都有非常多不同角度的唇枪舌剑之争。 2023Cuda compilation tools, release 12.2, V12.2.140Build cuda_12.2.r12.2/compiler.33191640_0下载合适的模型文件零一万物的官方模型发布页面是 最后关于零一万物 34B 模型的基础使用,先聊到这里。后面有机会,我们继续聊聊一些更实际的使用,包括 SFT、将这个模型接入到流行的开源应用中。那么,就先写到这里吧。
写在前面 前几周,我曾经写过一篇,如何使用 CPU、CPU & GPU 来本地运行零一万物 34B 模型:《本地运行“李开复”的零一万物 34B 大模型[1]》。 准备材料 想要折腾零一万物的模型,依旧是需要准备两件前置材料:模型运行软件环境、模型程序文件、运行模型的设备。 模型运行的软件环境 在上一篇文章中,我再次提到了 Docker 环境。 其他:和零一万物开源社区的小故事 两周前在知乎和大家一起 “吃过” 零一万物开源模型的瓜时,当时我也在知乎也回答了一个帖子[15],包含了我对于这件事的看法和一些推测。 当天晚上,第一天上班即背锅的社区负责人(苦主)找到了我,非常客气的希望交个朋友,以及非常诚恳地邀请我测试和再未来开放测试的时候使用零一万物的在线版的开源模型,反馈一些来自开源社区的建议和意见。 --EOF 引用链接 [1] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
允中 发自 凹非寺 量子位 | 公众号 QbitAI 领跑中英文两大权威榜单,李开复零一万物交出多模态大模型答卷! 距离其首款开源大模型Yi-34B和Yi-6B的发布,仅间隔不到三个月的时间。 零一万物技术团队同时也验证了可以基于Yi语言模型强大的语言理解和生成能力,用其他多模态训练方法比如BLIP、Flamingo、EVA等快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。 同时,零一万物多模态团队正在探索从头开始进行多模态预训练,更快接近、超过GPT-4V,达到世界第一梯队水平。
写在前面前几周,我曾经写过一篇,如何使用 CPU、CPU & GPU 来本地运行零一万物 34B 模型:《本地运行“李开复”的零一万物 34B 大模型》。 准备材料想要折腾零一万物的模型,依旧是需要准备两件前置材料:模型运行软件环境、模型程序文件、运行模型的设备。模型运行的软件环境在上一篇文章中,我再次提到了 Docker 环境。 其他:和零一万物开源社区的小故事两周前在知乎和大家一起 “吃过” 零一万物开源模型的瓜时,当时我也在知乎也回答了一个帖子,包含了我对于这件事的看法和一些推测。 当天晚上,第一天上班即背锅的社区负责人(苦主)找到了我,非常客气的希望交个朋友,以及非常诚恳地邀请我测试和再未来开放测试的时候使用零一万物的在线版的开源模型,反馈一些来自开源社区的建议和意见。
写在前面 前几周,我曾经写过一篇,如何使用 CPU、CPU & GPU 来本地运行零一万物 34B 模型:《本地运行“李开复”的零一万物 34B 大模型[1]》。 准备材料 想要折腾零一万物的模型,依旧是需要准备两件前置材料:模型运行软件环境、模型程序文件、运行模型的设备。 模型运行的软件环境 在上一篇文章中,我再次提到了 Docker 环境。 其他:和零一万物开源社区的小故事 两周前在知乎和大家一起 “吃过” 零一万物开源模型的瓜时,当时我也在知乎也回答了一个帖子[15],包含了我对于这件事的看法和一些推测。 当天晚上,第一天上班即背锅的社区负责人(苦主)找到了我,非常客气的希望交个朋友,以及非常诚恳地邀请我测试和再未来开放测试的时候使用零一万物的在线版的开源模型,反馈一些来自开源社区的建议和意见。 --EOF 引用链接 [1] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
该文一出,引起圈内广泛讨论,也将矛头指向了零一万物和百川智能,理由也很简单,其它四家最近相关动作频繁,但只有零一万物和百川智能在预训练大模型方面没有更新,且零一万物的ToC产品均在海外,文章指向性明显。 4.零一万物过去一直说过“不做赔钱的ToB”,并不是人们说的“不做ToB”,整个路径并不一样,当下零一万物已经找到了破局点,要做就做“盈利的ToB”。 都不是,今天有很精确的数字可以回答这个问题,GPT4o在5月13日推出,零一万物在10月的今天将它打败,如果真的算中国赶超美国有多远的距离,至少零一万物只差五个月。 国内着重ToB,是因为零一万物找到了一些破局的空间。 至于 ToC业务主要布局海外就更好理解,最早零一万物产品迭代就在海外,有些已经在国外应用运营良好,且零一万物海外ToC的变现能力和消耗用户增长的成本算账可以算得过来。
我主要借助了两个外部工具来做这个事情: 第一个,是前两周申请到的零一万物的模型(yi-34b-chat-200k),能够将作者每一章的全文都扔到模型里,而不用切分章节或做一些递归式的章节摘要等麻烦事。 Dify Dashboard 准备工作:配置零一万物模型 当在社区里申请了零一万物的模型 API 后,邮箱中会 “New” 出一份包含 “API Key” 和对应使用文档的邮件。
而这或许也是李开复选择亲自入局、创建零一万物的最核心原因。 按照李开复的说法,零一万物组成的核心团队,就是专门对标 OpenAI、谷歌等一线大厂的团队。而他也明白,要打好这场AI 2.0的争夺战,零一万物还需要更好的切入口。 这意味着零一万物在大模型的研发上不仅追求高效的性能,也关注到成本效益的提升。 这也是创立至今不到8个月时间里,零一万物交出的第一份极具全球竞争力的答卷。进军世界第一梯队,AI 2.0风口已至从今年年初至今,中国AI领域包括零一万物在内的融资金额已经高达214亿元。 而中国虽然不会有OpenAI,但会有更多适合中国市场的新AI创业公司们出现,李开复亲身下场创办的零一万物就是最好的例子。未来零一万物和Yi系列大模型还将颠覆多少“全球第一”,也值得更多期待。
继11月初零一万物发布性能优异的 Yi-34B 基座模型后,Yi-34B-Chat 微调模型在11月24日开源上线 ,再度获得全球开发者关注。 零一万物介绍,除了 Yi 系列基座的贡献以外,Yi-34B-Chat 模型的效果还得益于其人工智能对齐(AI Alignment)团队采用了一系列创新对齐策略。
零一万物由创新工场董事长兼首席执行官李开复创办于 2023 年 6 月,数月后零一万物便成功发布了 Yi 系列模型,包含 6B 和 34B 两个版本,并开源,打破了当时国产开源模型一直难以超过 14B (零一万物API开放平台链接:https://platform.lingyiwanwu.com/) AI 科技评论发现,此次零一万物 API 开放平台主要聚焦于当下两个最重要的领域,一是长文本,二是多模态 这次,星云爱店成为零一万物 Yi 大模型 API 开放平台邀测的首批用户。 而用户能拥有上述体验则要源于零一万物对 API 的优化,据零一万物透露,为了提升 API 性能,零一万物在 API 侧进行了推理优化,因此 Yi-34B-Chat 系列 API 具备较快的推理速度,这不仅缩短了处理时间 据零一万物透露,未来零一万物将会持续为开发者提供更多更强模型和 AI 开发框架,让大模型更好地完成落地,包括: 推出一系列的模型 API,覆盖更大的参数量、更强的多模态,更专业的代码/数学推理模型等。
零一万物表示,笛卡尔向量数据库将用在近期即将正式亮相的 AI 产品中,未来也将结合工具提供给开发者。 零一万物笛卡尔向量数据库在处理复杂查询、提高检索效率以及优化数据存储方面相比业界拥有显著的比较优势。针对第 1 个问题,零一万物团队有两大杀手锏: 领先的全导航图技术。 针对第 2 个问题,零一万物采用了两级量化方案增强 RAG。 除此之外,零一万物还有索引结构优化、连通性保障等全栈向量技术方案提高笛卡尔向量数据库的性能。 零一万物笛卡尔向量数据库目前聚焦于高性能向量数据库。
机器之心报道 机器之心编辑部 有研究者发现,李开复「零一万物」公司的 Yi-34B 模型基本上采用了 LLaMA 的架构,只是重命名了两个张量。对此,「零一万物」给出了官方回应。 这个大模型由创新工场董事长兼 CE0 李开复创立的大模型公司「零一万物」构建,包括了 Yi-6B 和 Yi-34B 两个版本。 针对此事,机器之心也向零一万物进行了求证。零一万物回应称: GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。 零一万物研发大模型的结构设计基于 GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作,这是我们首次发布获得优秀结果的地基之一。 与此同时,零一万物也在持续探索模型结构层面本质上的突破。 模型结构仅是模型训练其中一部分。
零一万物也因此成为总榜上唯一一个自家模型进入排名前十的中国大模型企业。在总榜上,GPT 系列占了前十位的四个名额。 以机构排序,零一万物 01.AI 仅次于 OpenAI、Google、Anthropic,正式进入国际顶级大模型企业阵营。 “最小到最大的模型,做到中国最好” 在做大模型方面,零一万物将继续坚持 Scaling Law。 黄文灏表示,零一万物需要算法、Infra 和工程三位一体的人才,但这样的人在国内并不是很多。 因此,零一万物的打法是“一个都不放过”,并且在每一个潜在尺寸上做到性能最高、推理成本最低。
零一万物表示,笛卡尔向量数据库将用在近期即将正式亮相的 AI 产品中,未来也将结合工具提供给开发者。 2 零一万物向量数据库包揽 权威榜单评测六项第一 零一万物笛卡尔(Descartes)向量数据库在 ANN-Benchmarks 六项数据集测试均位居第一。 零一万物笛卡尔向量数据库在处理复杂查询、提高检索效率以及优化数据存储方面相比业界拥有显著的比较优势。针对第 1 个问题,零一万物团队有两大杀手锏: 领先的全导航图技术。 针对第 2 个问题,零一万物采用了两级量化方案增强 RAG。 据了解,零一万物笛卡尔向量数据库目前聚焦于高性能向量数据库。
2 零一万物回应争议:基于 GPT 研发,将进行代码更新 对于本次争议,零一万物回应称:GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。 再次感谢您的提醒,期待您的更多支持和宝贵建议 11 月 15 日,零一万物发布了最新的详细说明: 就零一万物的观察和分析,大模型社区在技术架构方面现在是一个处于接近往通用化逐步收拢的阶段,基本上国际主流大模型都是基于 零一万物在训练模型过程中,沿用了 GPT/LLaMA 的基本架构,由于 LLaMA 社区的开源贡献,让零一万物可以快速起步。 在模型训练同时,零一万物也针对模型结构中的若干关键节点进行了大量的实验和对比验证。 今年 7 月,李开复博士正式官宣并上线了其筹组的“AI 2.0”新公司:零一万物。