本地部署大模型的方法很多,一般选择 docker 容器部署,或者使用本地服务框架。这里介绍使用本地服务框架 Ollama 部署。 Ollama 大模型框架 Ollama 是一个新兴的大模型框架,旨在为机器学习和人工智能研究提供高效、灵活和可扩展的解决方案。 启动一个大模型非常简单,比如我想运行 gemma2 27b 参数的大模型: (base) alex@alex-deepin-os:~$ ollama run gemma2:27b pulling manifest 我使用的是 Google 的 Gemma2 9b 大模型,速度还挺快。 如果你想尝试其它的大模型,可以去 ollama 的模型仓库看看。 小结 写到这里,是不是感觉到在 Deepin 系统上部署大模型太简单了?
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写,是一种通用的语言模型预训练框架。 这个图示说明了GLM预训练的过程,具体解释如下: a) 原始文本:给定一个原始文本,例如[x1, x2, x3, x4, x5, x6]。 在这个例子中,我们随机选择了两个连续的词片段[x3]和[x5, x6]作为样本。 b) 替换和洗牌:在Part A中,我们将被选择的词片段替换为[M](表示遮盖)。 在这个例子中,我们将[x3]和[x5, x6]洗牌为[x5, x6]和[x3]。 c) 自回归生成:GLM使用自回归的方式生成Part B。 在生成过程中,模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码:为了限制模型的注意力范围,
今年5月份,谷歌一位工程师在内部撰文直言称,当免费的、不受限制的替代品(开源模型)与闭源模型质量相当时,人们不会为受限制的模型付费。 两个月以后,这一预测变成现实。 在 Llama2 推出之前,开源社区最强的大模型 Llama 在商用许可上具有限制,而 OpenAI 的接口在国内面临着不确定的监管风险,因此相比于两者,国产大模型在市场竞争中的优势通常是「可商用」、「 Llama2 的释出削弱了国产大模型创业公司在市场上的竞争力。「从许多公开的测试集上,我们可以看到,国内大部分的大模型公司的水平距离 GPT-3.5 仍然有距离」,一位 AI 方向资深投资人称。 全球来看 GPT 的市场份额应当是最大的,而国内目前 Llama2 能够受影响的市场仅仅只是担心 GPT 受监管影响、且国产大模型都不适用的这部分客户,是一个「暂存市场」。 这个观点来自于今年5月谷歌一位工程师在内网发布的文件。
近期,智谱开源GLM-5.2的消息已经刷屏了! 说起来有点意思。前几年提到AI编程的第一梯队,大家默认就是Claude和OpenAI,偶尔加上谷歌的Gemini。 国产模型更多出现在国产替代的讨论里,而不是全球顶尖的榜单上。但GLM-5.2这次的表现,让这个格局出现了松动。 在Claude Fable 5之下,GLM-5.2拿下了开源界AI编程第一名,全球第二。 有个实测:让GLM-5.2处理一个88万token的Appsmith开源项目,覆盖Web前端、后端、插件、部署和权限模块。他全程在旁边观察,没有干预。 这个19分的跃升不是线性的,而是代表模型处理终端任务的能力从能跑变成了能打! 结语 写这篇文章的时候,我一直在想一个问题:国产大模型这几年走了多远? 早期的国产大模型,更多是在跟随和追赶。 开源、长上下文、面向真实工程任务的Coding Agent底座——这条路线的价值,不只在于国产模型也能写代码,更在于它给开发者和企业提供了一个闭源体系之外的选择。
再看开源领域,以LLaMA-2为代表,整体实力也在迅速增强。 纵向对比,相继奔赴大模型创业的公司太多了。据不完全统计,包含通用与垂直、开源与闭源不同类型在内,国产大模型数量已超百家。 如上文所言,资本集中押注,狩猎目标集中在3-5个选手身上,通往成功的机会被极限压缩。 马太效应的加剧,让有望突围的创业公司数量更进一步缩小,但纵观市场上叫得上名字的公司,要价都扶摇直上。 仍持观望态度 投资人们举着棋子不敢轻易尝试,还没买到入场券的,有的在观望,会不会在开源领域出现比LlaMA-2更厉害的模型,让大家都没得玩? 还有的在等应用层的机会。 8个月前,ChatGPT一石激起千层浪;6个月前,国内的大模型赛道开始备受瞩目,热度逐渐如日中天。 到现在,想走大模型路线通向AGI的人依旧络绎不绝。 大火热炒半年,大模型身下燃烧的大火开始转向小火模式,在年初“宣布入局”和年底“模型/产品问世”之间的这段空隙,种种迹象表明,大模型创投界渐渐迎来了第一波冷静期。
Meta还透露,Llama 3的 400B+ 模型仍在训练中。 Meta 顺利地保住了它在开源大模型领域的王座。 开源本身是一件致力于打破技术垄断、有利于促进整个行业不断进步、带来创新的事情,但每次Meta一开源,从Llama 到 Llama 3,国产大模型都要经历一次来自国人的嘲讽和贬低。 排名第5。 同样,经过过去一年的奋力追赶和学习,如GLM-4、文心一言这样的国产大模型打败了最强开源模型Llama 3,跻身全球竞争第一梯队,为只会跟随、模仿的国产技术正名。 过去一直强调要睁开眼看世界,学习国外,但大模型时代,看看国产大模型过去一年的变化,我们更多缺少的是正视国产技术的进步。
前言 本文介绍在macOS环境中搭建Claude Code接入国产大模型的详细步骤。 配置MiniMax国产大模型 访问MINIMAX官网,注册并登录账号,申请API key。 登录Claude Code 配置上述连接地址后,在终端执行 claude login,即可成功连接上大模型。 通过 claude -p 指令进行问答快速验证效果,参数-p表示不要进入交互式会话。 让它简要介绍下大模型,测试效果如下。
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型,国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性,受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型,让你能够轻松体验这一强大的 AI 工具。 deepseek-r1的哪个版本的大模型? 什么是OllamaOllama是一个开源项目,旨在让用户能够轻松地在其本地计算机上运行大型语言模型(LLM),是一个开源的大型语言模型服务。 理论上就安装完成了,可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改,如果C盘空间不够用,建议修改。
后期训练:使用了 5K GPU 小时,成本约为 1,000 美元。总成本:2788K(278.8 万)GPU 小时,总费用为 557.6 万美元。 其高效的训练方法和较低的计算成本,可以给其他没有资源的公司借鉴一下,也验证了大规模的GPU集群不是训练大模型的必要条件。数据集才是关键?之前就曾经有爆料称,OpenAI的下一代大模型效果不及预期。 这可能就说明,为什么迟迟不出来GPT-5了,因为提升幅度有限,所以把GPT-5改名成立了Orion目前最主流的说法认为,大模型的scaling raw正在慢慢失效,也就是目前的大模型尽管有着大量的数据集进行训练 主要是现在大模型所需要的大规模数据集已经耗尽了,高质量的数据集其实没有多少。OpenAI就为此创建了一个“基础团队”,主要研究怎么合成高质量的数据,提供给大模型进行学习。 而如果能够源源不断的提供给大模型一个高质量的数据集,那么确实有可能会进一步提升要生成高质量的数据,目前常用的方法是通过一个在相关内容上进行过预训练的大语言模型生成合成数据。
OpenAI发布最新大模型GPT5、本地部署GPT开源模型GPT-5概述北京时间 2025年8月8日 凌晨1点 OPENAI举行了1个小时的线上发布会,正式推出了其史上最聪明、最强大的大模型GPT-5 开源模型 gpt-oss-20b 与 gpt-oss-120bOpenAI 开源 gpt-oss-20b 与 gpt-oss-120b 两款模型,Apache 2.0 许可证,水平与 o4-mini 相当 gpt-oss-20b 与 gpt-oss-120b 最低硬件要求来自ChatGPT5的回答来自本地gpt-oss-20b的回答如何在本地安装开源的GPT-oss-20b星哥的测试环境系统:Windows11 Ollama的Turbo服务Ollama 推出了名为 “Turbo” 的付费服务,旨在解决本地运行超大模型的性能瓶颈,让用户在数据中心级的硬件上运行大型开源模型,服务月费为 20 美元。 最后以上就是全部内容,GPT-5的简介和在本地搭建使用OpenAI的GPT-oss的开源模型。写文不易,如果你都看到了这里,请点个赞和在看,分享给更多的朋友;也别忘了关注星哥玩云!
但大语言模型的“开源”完全不是这么一回事。先别管OpenAI现在名叫钮钴禄氏·CloseAI,就算哪天良心发现,真的要找回自己做一个名副其实的OpenAI,洗心革面把GPT-4给开源了。 那么,现在很多研究者在呼吁的开源,到底是要开源什么呢?开源模型,具体来说,是开源训练好的模型参数。模型参数拿到手,基本上就能完整复现能力了。 前面说过,模型这玩意距离能力复现就一步之遥,有很多人爱开源模型,也有很多人不爱开源模型,原因和上面差不多,还有一种是大公司大机构才敢用,官方辞令很多,譬如“出于社会责任考虑”,或者“安全伦理存在巨大风险 这里为咱们的中文开源大语言模型打个Call吧,能讲中文还开源的大语言模型真的不多,清华放出来的ChatGLM-6B应该是佼佼者,而是真·单卡就能运行。这里说的是消费级显卡。 最后就是开源数据集了,这项工作很重要,但也很容易被圈外忽视。现在中文大语言模型缺的东西很多,抱怨的也很多,还有一票人天天平替这个平替那个,实在不知道怎么想。
在人工智能(AI)和机器学习(ML)的快速发展过程中,大模型(Large Models)已经成为推动技术进步的重要力量。当前,业界存在两种主要的大模型开发模式:开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开,使得任何人都可以访问、修改和使用这些资源。 三、开源大模型与闭源大模型的对比 1.透明性与可控性: 开源大模型的透明性更高,任何人都可以查看和验证其代码和数据,确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 3.资源共享与独占优势: 开源大模型在资源共享方面表现突出,任何人都可以利用这些开源资源进行学习和研究,促进技术的普及和应用。 闭源大模型通过控制代码和数据的访问,能够更好地保护用户隐私和数据安全,降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点,适合不同的应用场景和需求。
国产开源大模型,有戏! 这是一个激动人心的时刻,从Llama2开源可商用,迄今5个月,国产大模型开源终于有一个能追上Llama2,大模型开源领域终于不再是Llama2独领风骚的时代,国产大模型开源也由此进入新时代。 国产开源大模型势头正猛。 由于各大模型厂商选择了“小参数用来开源,大参数拿来商业化”的策略,导致国内大模型开源一直停留在14B,所以国产开源大模型看似越来越卷,实则中国大模型市场还没有出现足以对标Llama-2-70B的优质开源模型 不仅如此,国外一些网友也对Qwen-72B等国产大模型表达了惊叹: 3 后记 通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio,至此,通义千问共开源了18亿、70亿、140
深夜,GLM-5来了。 还是老样子,发布即开源。 而且前几天,OpenRouter平台不是有一个Pony Alpha的匿名模型很火吗。 那如果你用不了GPT-5.3-codex的话,那我无比真诚的建议你,不用犹豫,就用GLM-5就行,这就是国内,你现在能用上的,最好、最棒、性价比最高的大模型。 说实话,一个国产模型,还开源出去,能到这个水平,已经非常非常让人自豪了。 同时在我看好的系统工程能力、长任务能力,在跑分上也能得到印证。 然后就是价格上,一个是API价格,真的,国产模型,这价格便宜的让人心疼。 Opus 4.5和4.6,都是5/25每百万token(输入/输出)。 而GLM-5大概只有Claude的七分之一。 那时候,如果你问我,国产大模型能不能在Coding领域跟OpenAI和Anthropic正面刚,我会说很难。 差距太大了,不是一点半点,是那种让人绝望的差距。
国产大模型选型,别再盲目跟风了 最近半年,我经常被同行问到同一个问题:国产大模型到底怎么选? 后来我花了整整两周时间,把市面上的主流国产大模型API全测了一遍,才明白选型这事,真不能光看名气。 国产大模型API到底有哪些坑? 你可能会想,国产大模型API不就是调个接口吗,能有多复杂?错! 国产大模型vs国外大模型,谁更香? 你可能还在纠结要不要用GPT-4o API或Claude API。我的看法是,看场景。 如果做英文内容生成,国外大模型确实强;但做中文智能客服API,国产大模型完胜。比如我测过,通义千问API对中文长文本的理解准确率比GPT-4o高15%,价格还便宜一半。 作者:孙国柱 发布日期:2026年7月5日
官网:https://deepmind.google/technologies/gemini/#introduction 简介 Gemini是谷歌公司发布的人工智能大模型,能够在从数据中心到移动设备等不同平台上运行 “双子座”Ultra版本是首个在“大规模多任务语言理解”(MMLU)领域超越人类专家的模型。---百度百科 https://baike.baidu.com/item/Gemini/63729669? Whisper v3 文本能力 能力 标准 介绍 Gemini ultra GPT-4 总体 MMLU 57个学科(包括数学、物理、历史、法律、医学和伦理学等) 90.0%CoT@32* 86.4%5- HellaSwag 日常情景下的常识推理 87.8%10-shot* 95.3%10-shot*(reported) 数学 Gsm8K 基础算术操作(包括小学数学题) 94.4%maj1@32 92%5- 随着未来大模型的普及我们的工作肯定有一部分会通过AI来提高效率,所以可以提升了解并实践
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用 目前,市面上已经开源了各种类型的大语言模型,本章节我们主要介绍其中的三大类: ChatGLM-6B:衍生的大模型(wenda、ChatSQL等) LLaMA:衍生的大模型(Alpaca、Vicuna 、BELLE、Phoenix、Chimera等) Bloom:衍生的大模型(Bloomz、BELLE、Phoenix等) ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 小结 本小节主要介绍了LLM主流的开源大模型,对不同模型架构、训练目标、优缺点进行了分析和总结。
周末,卡着国内外都没有大模型发布,已经发布又被禁止使用的空隙,智谱AI正式发布了GLM-5.2大模型。 那个时候GLM是国产之光,没有之一。 这短短的三年过去,大模型的迭代经历了百花齐放,到现在各家争雄的模式,只剩下有资金又有技术,实力雄厚的玩家了。 感慨当年好多模型不见了,不仅仅文章里提到的复旦的Moss,百川大模型也放弃了通用基座大模型的研发,转向医疗专用(估计将来也会被通用大模型+数据工程吞噬)。 在代码能力方面,GLM-5.2在私有评测CodeV3中综合排名全球第三,这是国产模型首次在代码能力上与国际顶尖模型拉开代差。 你现在主力用哪个国产模型呢?欢迎评论区留言。
快手在世界人工智能大会(WAIC)上宣布,快手旗下的文生图大模型可图(Kolors)全面开源。 Kolors是快手Kolors团队开发的基于潜在扩散的大规模文本到图像生成模型。 经过数十亿个文本图像对的训练,Kolors 在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面比开源和闭源模型表现出显着优势。 可图大模型小程序目前支持双人合影、写真、AI盲盒、AI滤镜等功能,更多功能和创意等待你来检索。 以可图大模型的文生图为例: step1:输入创意提示词 step2:选择风格、尺寸,支持多种常用的规格尺寸。默认生成四张 step3:生成的图片,嘎嘎好~ 便于对比,我将它们都下载下来。 可灵火到国外了,又释放出这么绝艳的可图大模型,不知道其他大模型公司作何感想呢?
谷歌很狼狈,ChatGPT是22年12月发布,谷歌直到23年5月,也就是用了整整半年,才搞出来一个看起来总算有点谷歌样子的Palm 2。 为什么说“看起来总算有点谷歌样子”? 一些以前分明不是搞AI的企业,居然这波也说要推自己的大模型。 事实啪啪打脸。这脸打得怎么说呢?痛快。 当然了,大家第一个问题就是,为什么LLM的门槛忽然就降低了呢? 还没有最终定论,不过,我想主要是两个原因:开源模型和开源数据。 LLM的门槛主要是就是人工智能的三要素:算法、算力和数据。 算法本身算不上门槛。 对于宣布搞自家LLM的大企业来说,最不差的恐怕就是钱了。何况现在还有一堆LLM的预训练模型排着队的开源呢。 最后是数据。数据很容易被人忽略,但我从一开始就认为,数据才是真正的隐性门槛。 不过,OpenAI解决了鸡的问题,ChatGPT标注性能甚至超过了人类,再加上开源社区孜孜不倦地用爱发电,所以,问题现在依旧是问题,但已经没那么是问题。 最后说说国产LLM的区别,其实这才是关键。