之前写了一篇:LangChain创始人回应为啥不做托拉拽的智能体工作流 正好今天看到零一万物的一篇讲AI工程落地的文章,观点很相似。
2)LLaMA 掀起的开源狂潮背后,比训练架构更重要的大模型训练过程为什么少人问津? 在零一万物的最新公告中,零一万物也坦承其采用了往通用化逐步收拢的 GPT/LLaMA 的基本架构,但也着重强调: 1)在训练 Yi-34B 与 Yi-6B 的过程中,零一万物的团队也是根据实际的训练框架重新实现了训练代码 2)在 Infra 部分进行算法、硬件、软件联合端到端优化,以此来实现模型训练效率的提升和极强的容错能力等技术创新。 创始人李开复也在朋友圈发表:全球大模型架构一路从 GPT2 --> Gopher --> Chinchilla --> Llama2 --> Yi,行业逐渐形成大模型的通用标准(就像做一个手机app开发者 2 目标 vs. 手段 无论何时,技术创新都是驱动生产力进步的轮子。
Assistant: 西红柿炒鸡蛋是一道简单而美味的家常菜,下面是它的基本做法: 材料: - 西红柿 2-3个 - 鸡蛋 2-3个 - 大蒜 2-3瓣,切末 - 盐 适量 - 白糖 适量(可选) - 2. 将鸡蛋打入碗中,加入少许盐,用筷子或打蛋器打散,使蛋液均匀。 3. 热锅凉油,油温升高后倒入打好的鸡蛋液,待底部凝固后,用铲子轻轻推动,使鸡蛋液均匀受热,形成蛋块,然后盛出备用。 4. 以下是基本的炒鸡蛋做法: 材料: - 鸡蛋 2-3个 - 盐 适量 - 植物油 适量 做法: 1. 将鸡蛋打入碗中,加入少许盐,用筷子或打蛋器打散,使蛋液均匀。 2.
物联网作为新时代的宠儿,有其独到之处,操作系统是物联网的灵魂,开源操作系统更是集结了各物联网大亨的理论精髓,物联网、开源、操作系统这三个词汇构成了物联网开源操作系统。 接下来给大家介绍10款经典的物联网操作系统。 物联网为何需要开源操作系统? 对于物联网发展而言,"碎片化"是主要的问题,其中芯片、传感器、通信协议、应用场景千差万别,"山头林立"。 操作系统,是物联网中一个十分关键的环节,而开源更佳助推了物联网的开放和发展。目前,开源操作系统在物联网中的应用已经十分广泛,以后也必将在物联网中扮演越来越重要的角色。 2、Contiki Contiki,是一个开源的、容易移植的多任务操作系统,适用于内存受限的网络任务。
“零一”即01,代表的是数字世界,从零到一,乃至宇宙万物,寓意“零一智能,万物赋能”。彼时,李开复的决心是做一家世界级公司。两年过去了,公司做了战略转型,停止万亿参数模型的研发。 62岁高龄的李开复,再度启程,创立了零一万物,全力投身AI大模型赛道。 零一万物于2023年5月正式注册成立,公司的名字象征着李开复的AI创业“从零到一”。 李开复朋友圈(图自网络) 根据李开复当时的朋友圈,零一万物要在全球范围号召世界级的人才,一起打造一个世界级的公司。 随后,零一万物进行了战略调整,最终公司决定放弃原定的超大模型。 2013年,他提出“词嵌入”模型Word2Vec,让AI首次具备了精准的语言表征能力。他创办的蒙特利尔学习算法研究所(MILA),培养出数百名AI领域的领军者,被称为“深度学习人才摇篮”。
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 写在前面 零一万物的模型争议有很多,不论是在海外的社交媒体平台,还是在国内的知乎和一种科技媒体上,不论是针对模型、代码、还是针对团队,甚至针对这家公司的一把手,李开复,都有非常多不同角度的唇枪舌剑之争。 之前写过一些关于 llama 的 finetune、量化、容器把玩的内容,感兴趣可以自行翻阅:“llama 大模型的那些事儿”[2]。 Cuda compilation tools, release 12.2, V12.2.140 Build cuda_12.2.r12.2/compiler.33191640_0 下载合适的模型文件 零一万物的官方模型发布页面是 最后 关于零一万物 34B 模型的基础使用,先聊到这里。后面有机会,我们继续聊聊一些更实际的使用,包括 SFT、将这个模型接入到流行的开源应用中。 那么,就先写到这里吧。
Graph Embedding基础系列第三篇,和deepwalk的思路非常相似,来自2016年Stanford的node2vec, 论文:node2vec: Scalable Feature Learning for Networks[1] 代码:https://github.com/aditya-grover/node2vec 前面介绍过,deepwalk可以认为是 random walk + skip-gram 的模型,random walk本质上是一个dfs的过程,丢失了bfs的邻居结构信息;而node2vec可以简单理解为对deepwalk的随机游走过程进行优化,综合考虑了bfs和dfs的游走方式,提出了 node2vec模型 随机游走 对于一个起始节点 , 我们可以采样出一条长度为 的随机游走路径, 其中, 表示节点 和节点 之间的未归一化概率(即从节点 转移到节点 本文参考资料 [1] node2vec: Scalable Feature Learning for Networks: https://arxiv.org/abs/1607.00653
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 写在前面零一万物的模型争议有很多,不论是在海外的社交媒体平台,还是在国内的知乎和一种科技媒体上,不论是针对模型、代码、还是针对团队,甚至针对这家公司的一把手,李开复,都有非常多不同角度的唇枪舌剑之争。 不过 llama.cpp 之前主打的玩法,是使用纯 CPU 来进行模型的推理,在《构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型》中,我曾经介绍过这种玩法。 /models/TheBloke/Nous-Capybara-34B-GGUF/nous-capybara-34b.Q5_K_M.gguf 上面的命令中,我们在加载模型的时候,设置了上下文尺寸为 2k, 最后关于零一万物 34B 模型的基础使用,先聊到这里。后面有机会,我们继续聊聊一些更实际的使用,包括 SFT、将这个模型接入到流行的开源应用中。那么,就先写到这里吧。
写在前面 前几周,我曾经写过一篇,如何使用 CPU、CPU & GPU 来本地运行零一万物 34B 模型:《本地运行“李开复”的零一万物 34B 大模型[1]》。 准备材料 想要折腾零一万物的模型,依旧是需要准备两件前置材料:模型运行软件环境、模型程序文件、运行模型的设备。 模型运行的软件环境 在上一篇文章中,我再次提到了 Docker 环境。 其他:和零一万物开源社区的小故事 两周前在知乎和大家一起 “吃过” 零一万物开源模型的瓜时,当时我也在知乎也回答了一个帖子[15],包含了我对于这件事的看法和一些推测。 当天晚上,第一天上班即背锅的社区负责人(苦主)找到了我,非常客气的希望交个朋友,以及非常诚恳地邀请我测试和再未来开放测试的时候使用零一万物的在线版的开源模型,反馈一些来自开源社区的建议和意见。 --EOF 引用链接 [1] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
允中 发自 凹非寺 量子位 | 公众号 QbitAI 领跑中英文两大权威榜单,李开复零一万物交出多模态大模型答卷! 距离其首款开源大模型Yi-34B和Yi-6B的发布,仅间隔不到三个月的时间。 零一万物技术团队同时也验证了可以基于Yi语言模型强大的语言理解和生成能力,用其他多模态训练方法比如BLIP、Flamingo、EVA等快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。 同时,零一万物多模态团队正在探索从头开始进行多模态预训练,更快接近、超过GPT-4V,达到世界第一梯队水平。 项目地址: [1]https://huggingface.co/01-ai [2]https://www.modelscope.cn/organization/01ai — 完 —
写在前面前几周,我曾经写过一篇,如何使用 CPU、CPU & GPU 来本地运行零一万物 34B 模型:《本地运行“李开复”的零一万物 34B 大模型》。 准备材料想要折腾零一万物的模型,依旧是需要准备两件前置材料:模型运行软件环境、模型程序文件、运行模型的设备。模型运行的软件环境在上一篇文章中,我再次提到了 Docker 环境。 在《构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型》,我提到了如何将模型量化为 GGML 格式。 其他:和零一万物开源社区的小故事两周前在知乎和大家一起 “吃过” 零一万物开源模型的瓜时,当时我也在知乎也回答了一个帖子,包含了我对于这件事的看法和一些推测。 当天晚上,第一天上班即背锅的社区负责人(苦主)找到了我,非常客气的希望交个朋友,以及非常诚恳地邀请我测试和再未来开放测试的时候使用零一万物的在线版的开源模型,反馈一些来自开源社区的建议和意见。
写在前面 前几周,我曾经写过一篇,如何使用 CPU、CPU & GPU 来本地运行零一万物 34B 模型:《本地运行“李开复”的零一万物 34B 大模型[1]》。 准备材料 想要折腾零一万物的模型,依旧是需要准备两件前置材料:模型运行软件环境、模型程序文件、运行模型的设备。 模型运行的软件环境 在上一篇文章中,我再次提到了 Docker 环境。 其他:和零一万物开源社区的小故事 两周前在知乎和大家一起 “吃过” 零一万物开源模型的瓜时,当时我也在知乎也回答了一个帖子[15],包含了我对于这件事的看法和一些推测。 当天晚上,第一天上班即背锅的社区负责人(苦主)找到了我,非常客气的希望交个朋友,以及非常诚恳地邀请我测试和再未来开放测试的时候使用零一万物的在线版的开源模型,反馈一些来自开源社区的建议和意见。 --EOF 引用链接 [1] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
该文一出,引起圈内广泛讨论,也将矛头指向了零一万物和百川智能,理由也很简单,其它四家最近相关动作频繁,但只有零一万物和百川智能在预训练大模型方面没有更新,且零一万物的ToC产品均在海外,文章指向性明显。 2.OpenAI o1 的出现告诉我们,不止要关注预训练,强化学习、自我推理也非常重要。 4.零一万物过去一直说过“不做赔钱的ToB”,并不是人们说的“不做ToB”,整个路径并不一样,当下零一万物已经找到了破局点,要做就做“盈利的ToB”。 都不是,今天有很精确的数字可以回答这个问题,GPT4o在5月13日推出,零一万物在10月的今天将它打败,如果真的算中国赶超美国有多远的距离,至少零一万物只差五个月。 国内着重ToB,是因为零一万物找到了一些破局的空间。
2 倍以上。 在原榜单 TOP1 基础上,零一万物笛卡尔向量数据库搜索内核实现了显著性能提升,部分数据集上的性能提升超过 2 倍以上,在 gist-960-euclidean 数据集维度更大幅领先榜单原 TOP1 286% 通过建立某种索引结构,减少检索考察的候选集; 2. 降低单个向量计算的复杂度。 零一万物笛卡尔向量数据库在处理复杂查询、提高检索效率以及优化数据存储方面相比业界拥有显著的比较优势。 针对第 2 个问题,零一万物采用了两级量化方案增强 RAG。 零一万物用两级量化降低计算复杂度,同时列式存储充分利用 SIMD 的并发能力,进一步发挥硬件能力,相比传统 PQ 查表,性能得到大幅提升到 2-3 倍。
我主要借助了两个外部工具来做这个事情: 第一个,是前两周申请到的零一万物的模型(yi-34b-chat-200k),能够将作者每一章的全文都扔到模型里,而不用切分章节或做一些递归式的章节摘要等麻烦事。 Dify Dashboard 准备工作:配置零一万物模型 当在社区里申请了零一万物的模型 API 后,邮箱中会 “New” 出一份包含 “API Key” 和对应使用文档的邮件。 , "Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJiZTAxZmU0OC05OTRjLTQ3MGItODgxMS0zNTNhNjlhY2ZhZDciLCJzdWIiOiJXZWIgQVBJIFBhc3Nwb3J0IiwiYXBwX2lkIjoiYmUwMWZlNDgtOTk0Yy00NzBiLTg4MTEtMzUzYTY5YWNmYWQ3IiwiYXBwX2NvZGUiOiJHV3JDeDBsYjNaQTNFU3hOIiwiZW5kX3VzZXJfaWQiOiI0ZGM4MmFmOC02OTY3LTRkYzctYTFkMS00YmU5MGUzNGY5N2EifQ.jVewI-mI-p-vybJ66yep1 , "Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJiZTAxZmU0OC05OTRjLTQ3MGItODgxMS0zNTNhNjlhY2ZhZDciLCJzdWIiOiJXZWIgQVBJIFBhc3Nwb3J0IiwiYXBwX2lkIjoiYmUwMWZlNDgtOTk0Yy00NzBiLTg4MTEtMzUzYTY5YWNmYWQ3IiwiYXBwX2NvZGUiOiJHV3JDeDBsYjNaQTNFU3hOIiwiZW5kX3VzZXJfaWQiOiI0ZGM4MmFmOC02OTY3LTRkYzctYTFkMS00YmU5MGUzNGY5N2EifQ.jVewI-mI-p-vybJ66yep1 ": 1710262616} data: {"event": "message_end", "task_id": "28591fdc-9ec2-4f12-b931-86e2dba66d25", "id
上期回顾: 超量化合物库筛选策略–P1 具体步骤: 1. 一切以最终完成上传到Github的地址为准 ├── Codebase #相关代码 ├── Database #所用数据库文件 ├── Workflow #工作流程 ├── 参考资料 #辅助文献 └── 超量化合物库筛选策略 .md #本文 2. 参考: [1] https://enamine.net/ [2] Grygorenko O O , Radchenko D S , Dziuba I , et al.
零一万物由创新工场董事长兼首席执行官李开复创办于 2023 年 6 月,数月后零一万物便成功发布了 Yi 系列模型,包含 6B 和 34B 两个版本,并开源,打破了当时国产开源模型一直难以超过 14B 对中文复杂表格的信息识别处理准确度高于 GPT-4V: 再例如,我们将下述模糊汉字的图片提交给 Yi-VL-Plus 和 ChatGPT 识别: 发现Yi-VL-Plus 回答正确了,ChatGPT 没能答对: 2 星云爱店是知识探索服务的先行者,该公司的业务包含2C的“学术科研助手”,2B的儿童心理健康诊疗、青少年科学素养培养三大领域。 (2)学习专业知识并立即用于解读,表现优良。有深度、有创意。(星云爱店提供的资料均脱敏) 结合历史病历和从图片信息,零一模型可以较好的完成对青少年心理健康水平解读。 而用户能拥有上述体验则要源于零一万物对 API 的优化,据零一万物透露,为了提升 API 性能,零一万物在 API 侧进行了推理优化,因此 Yi-34B-Chat 系列 API 具备较快的推理速度,这不仅缩短了处理时间
在ANN-Benchmarks 的离线测试中,零一万物笛卡尔(Descartes)向量数据库在 6 份数据集评测中位居榜首,比原先榜单上同业第一名有显著性能提升,部分数据集上的性能提升甚至超过 2 倍以上 2 零一万物向量数据库包揽 权威榜单评测六项第一 零一万物笛卡尔(Descartes)向量数据库在 ANN-Benchmarks 六项数据集测试均位居第一。 在原榜单 TOP1 基础上,零一万物笛卡尔向量数据库实现了显著性能提升,部分数据集上的性能提升超过 2 倍以上,在 gist-960-euclidean 数据集维度更大幅领先榜单原 TOP1 286%。 针对第 2 个问题,零一万物采用了两级量化方案增强 RAG。 零一万物用两级量化降低计算复杂度,同时列式存储充分利用 SIMD 的并发能力,进一步发挥硬件能力,相比传统PQ查表,性能得到大幅提升到 2-3 倍。
commit/6d24e1ad40d89f64b1bd3ae36e639c74c9f730b2 由于 LLaMA 架构涉及大量投资和工具,因此保留全部张量的原名称显然更好。 2 零一万物回应争议:基于 GPT 研发,将进行代码更新 对于本次争议,零一万物回应称:GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。 零一万物在训练模型过程中,沿用了 GPT/LLaMA 的基本架构,由于 LLaMA 社区的开源贡献,让零一万物可以快速起步。 Yi-34B 是一个双语(英语和中文)基础模型,经过 340 亿个参数训练,明显小于 Falcon-180B 和 Meta LlaMa2-70B 等其他开放模型。 零一万物团队对其进行了一系列打榜测试,具体成绩包括: Hugging Face 英文测试榜单,以 70.72 分数位列全球第一; 以小博大,作为国产大模型碾压 Llama-2 70B 和 Falcon-
机器之心报道 机器之心编辑部 有研究者发现,李开复「零一万物」公司的 Yi-34B 模型基本上采用了 LLaMA 的架构,只是重命名了两个张量。对此,「零一万物」给出了官方回应。 根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测榜单,Yi-34B 推出时取得了多项 SOTA 国际最佳性能指标认可,成为全球开源大模型「双料冠军」,击败了 LLaMA2 和 针对此事,机器之心也向零一万物进行了求证。零一万物回应称: GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。 零一万物研发大模型的结构设计基于 GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作,这是我们首次发布获得优秀结果的地基之一。 与此同时,零一万物也在持续探索模型结构层面本质上的突破。 模型结构仅是模型训练其中一部分。