- 综合排序
- 最热优先
- 最新优先
对比不同开源大语言模型的结构有什么区别？
今天我们来分析和对比一下目前比较流行的几个开源LLM在模型结构上有什么区别，这里挑选的openai的gpt2、开源鼻祖llama、国内的代表qwen2、欧洲的代表号称效果很好的模型mistral 、和号称完全开源的模型olmo。 这边文章首先从gpt2开始分析，对比gpt2和trainsformer结构的区别，再对比gpt2到llama的演变，最后横向对比LLM时代llama、qwen2、mistral和olmo模型结构的区别。 三、qwen2、mistral、olmo和llama结构的区别上面的分析可以看到，llama在gpt2的结构上还是做了一些修改的，下面看看这几个其他的开源模型有没有在llama的基础上进行修改。 不过这对大模型的业界工作可能也是一个好消息，模型结构是确定的，大家只需要把更多的精力关注在数据和训练策略上就可以了，一定程度上降低了大模型开发的复杂度。
2.2K10编辑于 2024-08-19- 来自专栏睡前机器学习
开源大模型到底开源什么？
但大语言模型的“开源”完全不是这么一回事。先别管OpenAI现在名叫钮钴禄氏·CloseAI，就算哪天良心发现，真的要找回自己做一个名副其实的OpenAI，洗心革面把GPT-4给开源了。 那么，现在很多研究者在呼吁的开源，到底是要开源什么呢？开源模型，具体来说，是开源训练好的模型参数。模型参数拿到手，基本上就能完整复现能力了。 前面说过，模型这玩意距离能力复现就一步之遥，有很多人爱开源模型，也有很多人不爱开源模型，原因和上面差不多，还有一种是大公司大机构才敢用，官方辞令很多，譬如“出于社会责任考虑”，或者“安全伦理存在巨大风险 这里为咱们的中文开源大语言模型打个Call吧，能讲中文还开源的大语言模型真的不多，清华放出来的ChatGLM-6B应该是佼佼者，而是真·单卡就能运行。这里说的是消费级显卡。 最后就是开源数据集了，这项工作很重要，但也很容易被圈外忽视。现在中文大语言模型缺的东西很多，抱怨的也很多，还有一票人天天平替这个平替那个，实在不知道怎么想。
1.6K20编辑于 2023-09-09 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 3.资源共享与独占优势： 开源大模型在资源共享方面表现突出，任何人都可以利用这些开源资源进行学习和研究，促进技术的普及和应用。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.7K10编辑于 2024-10-09 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.2K10编辑于 2024-09-24 - 来自专栏机器学习入门
【AI大模型】BERT GPT ELMo模型的对比
单/双向语言模型: 三者之中, 只有GPT采用单向语言模型, 而ELMo和BERT都采用双向语言模型. ELMo虽然被认为采用了双向语言模型, 但实际上是左右两个单向语言模型分别提取特征, 然后进行特征拼接, 这种融合特征的能力比BERT一体化的融合特征方式弱. BERT: * 优点: * BERT使用了双向Transformer提取特征, 使得模型能力大幅提升. * 添加了两个预训练任务, MLM + NSP的多任务方式进行模型预训练. * 缺点: * 模型过于庞大 三者所采用的语言模型单/双向不同. BERT采用的是最彻底的双向语言模型, 可以同时关注context before和context after. ELMo表面上被认为是双向语言模型, 但实际上是左右两个单向LSTM模型分别提取特征, 在进行简单的拼接融合.
55210编辑于 2025-01-17 大语言模型集成策略对比研究
这是集成方法的关键问题有效利用多样性已被证明能够提升包括大语言模型（LLM）在内的各种机器学习模型的性能。然而，如何最有效地使用多样性仍然是一个挑战。 本研究比较了两种用于回答二元问题的LLM多样性方法：模型多样性：依赖多个模型回答同一问题问题解释多样性：依赖同一模型以不同方式表述的同一问题在这两种情况下，都采用多数投票作为集成共识启发式方法来确定最终答案 在boolq、strategyqa和pubmedqa数据集上的实验表明，与模型多样性相比，问题解释多样性始终能够带来更好的集成准确率。 此外，对GPT和LLaMa的分析显示，模型多样性通常产生的结果介于最佳和最差集成成员之间，而没有明显的改进。
13800编辑于 2025-09-03- 来自专栏技术趋势
google开源大模型-gemini
官网：https://deepmind.google/technologies/gemini/#introduction 简介 Gemini是谷歌公司发布的人工智能大模型，能够在从数据中心到移动设备等不同平台上运行 “双子座”Ultra版本是首个在“大规模多任务语言理解”（MMLU）领域超越人类专家的模型。---百度百科 https://baike.baidu.com/item/Gemini/63729669? spm_id_from=888.80997.embed_other.whitelist&vd_source=7d0e42b081e08cb3cefaea55cc1fa8b7 相关能力对比 能力 基准 描述 最后 gemini虽然说能力存在造假质疑，但是不妨我们学习，还是有很多能力还没有完全去验证出来，我这个只是基于api去调用，有兴趣的同学可以用python或前端等方式去实现，然后与文心一言、千义通问等对比看效果 随着未来大模型的普及我们的工作肯定有一部分会通过AI来提高效率，所以可以提升了解并实践
2.4K10编辑于 2024-01-15 - 来自专栏机器学习AI算法工程
开源大语言模型LLMs汇总
大语言模型 大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。 2023年3月15日，Open AI发布了多模态预训练大模型GPT4.0。 2023年2月，谷歌发布会公布了聊天机器人Bard，它由谷歌的大语言模型LaMDA驱动。 开源大语言模型 本文列举了截止到 2023 年 6 月 8 日开源的大语言模型 1、LLaMA 简介 meta 开源的 LLaMA LLaMA完全是在公共开源预训练数据上训练。 //arxiv.org/abs/2212.10560 代码：https://github.com/tatsu-lab/stanford_alpaca 4、PandaLLM 简介 Panda: 海外中文开源大语言模型 骆驼(Luotuo)项目是由冷子昂 @ 商汤科技, 陈启源 @ 华中师范大学 以及 李鲁鲁 @ 商汤科技 发起的中文大语言模型开源项目，包含了一系列语言模型。
2.9K10编辑于 2023-09-04 - 来自专栏Python进阶之路
开源教育对话大模型 EduChat
EduChat 是华东师范大学计算机科学与技术学院的 EduNLP 团队开发的开源教育对话大模型。 该项目主要研究以预训练大模型为基底的教育对话大模型相关技术，融合多样化的教育垂直领域数据，辅以指令微调、价值观对齐等方法，提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能，服务于广大老师 在未来，开发者们将持续投入对基础模型的研究，并持续推出更为强大的 EduChat 版本，以丰富全球教育大模型生态，加速全球教育信息化进程。 鉴于上述模型的局限性，我们要求开发者仅将开源的代码、数据、模型以及由该项目生成的衍生物仅用于研究目的，禁止用于商业用途，以及其他可能对社会带来危害的用途。 ---- ️ 参考链接： EduChat - 探索了针对教育垂直领域的对话大模型相关项目研发 EduChat 模型 - 在 educhat-base-002-7b 基础上，使用构建的教育领域多技能数据微调后得到
1.9K30编辑于 2023-07-10 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom 下载模型地址: https://huggingface.co/bigscience/bloom-1b1/tree/main 把如上图所示链接中的五个文件（不包含这个flax_model.msgpack）
93010编辑于 2024-03-29 - 来自专栏科技云报道
开源才是大模型的未来？
9月，百川智能宣布开源Baichuan-7B、13B两款大模型，其下载量目前已经突破500万，200多家企业申请部署开源大模型。 有业内人士认为，未来90%的企业会倾向基于开源大模型发展。那么，开源是否真的是大模型的未来？ 开源大模型快速赶超 开源大模型的核心理念是开放源代码，允许公众访问、使用、修改和分发模型的源代码。 开源大模型的商业化挑战 尽管开源已成为现阶段大模型发展的一种主流趋势，开源大模型的发展速度也远快于封闭生态系统，但并非所有的厂商都选择开源路线，也并不代表厂商会一直开源所有的大模型。 比如，以开源切入大模型赛道的百川智能，在发布完Baichuan-7B、Baichuan-13B开源大模型后，参数更大的Baichuan-53B大模型则选择了闭源。 对比商业版本，开源版本一定是滞后的，包括技术的迭代、维护等等。 因此，两者的优势并不在同一个位置，也很难断言哪一个模式将完全主导大模型的未来。
47410编辑于 2023-12-26 - 来自专栏AI工程落地
大语言模型--开源数据集
Huggingface排行榜默认数据集 Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 本文主要介绍Huggingface开源大模型排行榜上默认使用的数据集以及如何搭建自己的大模型评估工具 搭建大模型评估工具 1.下载数据集到本地 from datasets import load_dataset openai/human-eval: Code for the paper "Evaluating Large Language Models Trained on Code" (github.com) 对比自己的实现和开源分数差异 2110.14168.pdf (arxiv.org) 数据集地址：gsm8k · Datasets at Hugging Face 语言：English 介绍：GSM8K是一个包含8.5k的小学数学题，主要用于测试大模型的数学和逻辑推理能力 arxiv.org/abs/2107.03374 数据集地址：openai/openai_humaneval · Datasets at Hugging Face 语言：English 介绍：OpenAI发布的测试大模型编程能力的数据集
2K20编辑于 2024-09-18 - 来自专栏数据派THU
中文对话大模型BELLE全面开源！
来源：高能AI本文约1000字，建议阅读5分钟模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 中文对话大模型开源社区迎来了一名浓眉大眼的新成员！ 但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。 他们已经开源其中的150万数据。 模型：大模型的训练往往具有较高的成本，而一个具备初步的能力的对话模型，将大大降低使用和科研的门槛。 为此，他们基于Bloom和LLAMA，训练了出具效果的对话模型，并完全开放了这些模型的参数。 轻量化：为了便于模型的部署和试用，BELLE团队同时开源了对话模型的量化版本。 总结 可以说BELLE的出现，大大促进了中文开源对话模型的发展，基于他们开源的数据和模型，更多的人可以尝试这些模型，更多的研究工作可以更快捷的展开。
99120编辑于 2023-04-05 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 理解这些参数的本质，不仅能够提升模型输出的质量，更是将大模型从玩具转变为工具的关键一步。 今天我们将从理论基础到实践应用，全面解析大模型的核心参数体系，详细的介绍大模型推理中常用的参数项，并通过本地模型示例展示参数调整对模型效能的影响。常见参数项：max_length：生成文本的最大长度。 的对比：特性Top-kTop-p筛选方式固定数量固定概率累积适应性静态动态稳定性高中等推荐使用简单任务复杂任务4. 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。
73832编辑于 2026-02-04 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来 /openai-translator/openai-translator 直接去 release 下载安装包后运行，在设置中选择本地大模型，并选择 API 模型为你已经下载好的本地模型保存即可 使用效果
3.1K20编辑于 2024-03-05 - 来自专栏子晓AI量化
【开源项目】常见的金融领域开源大模型整理
周末有同学问金融领域有哪些开源大模型，我之前收藏夹里并不少，这里一并梳理下，不让收藏夹吃灰。 在金融行业数字化转型的浪潮中，大语言模型（LLM）正逐步成为智能投研、风险控制、合规管理等场景的核心工具。 面对金融文本的高专业性、数据敏感性和逻辑复杂性，开源社区涌现出一批针对金融场景优化的模型框架。 一、综合型金融大语言模型 轩辕（XuanYuan）系列 作为国内首个千亿级中文金融对话模型，轩辕系列基于国际主流架构进行深度本地化改造。 /FinNLP 二、垂直领域优化模型 DISC-FinLLM（复旦大学） 复旦大学团队基于Baichuan-13B架构开发的金融知识增强模型，其突破性在于构建了四维能力矩阵： 金融咨询：支持理财产品对比 开源地址：https://github.com/FudanDISC/DISC-FinLLM 通义点金（Tongyi-Finance） 阿里云推出的金融大模型解决方案，通过三阶段训练策略实现能力跃升： 基座预训练
19310编辑于 2026-04-23 - 来自专栏NewBeeNLP
苹果卷开源大模型，OpenELM亮相
后台留言『交流』，加入NewBee讨论组 苹果发布基于开源训练和推理框架的高效语言模型族 OpenELM。 要说 ChatGPT 拉开了大模型竞赛的序幕，那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中，苹果似乎掀起的水花不是很大。 不过，苹果最新放出的论文，我们看到其在开源领域做出的贡献。 值得一提的是，苹果这次发布了完整的框架，包括数据准备、训练、微调和评估程序，以及多个预训练的 checkpoint 和训练日志，以促进开源研究。 与这些模型不同的是，OpenELM 中的每个 Transformer 层都有不同的配置（例如，头数和前馈网络维度），导致模型每层的参数数量不同。
26610编辑于 2024-04-26 瑞士开源大语言模型今夏发布
开源瑞士大语言模型今夏发布由瑞士联邦理工学院与苏黎世联邦理工学院联合开发的大语言模型(LLM)即将在今夏公开发布。 该模型在瑞士国家超算中心的"阿尔卑斯"超级计算机上完成训练，标志着开源AI与多语言处理技术的重大进展。 开放生态建设近期在日内瓦举办的国际开源LLM构建者峰会上，50余家全球领先机构共同探讨了开源基础模型的协作生态。 该模型作为峰会焦点，由瑞士多所高校与超算中心工程师联合开发，具有以下核心特性：完全开源：模型源代码、权重及训练数据全部公开多语言支持：覆盖1500多种语言（60%英语+40%非英语）合规设计：严格遵循瑞士数据保护法及欧盟 AI法案技术架构模型提供两个版本：80亿参数版：满足常规需求700亿参数版：全球性能最强的完全开源模型之一undefined训练使用超过15万亿高质量token，采用100%碳中和电力在配备10,000
15200编辑于 2025-08-04- 来自专栏啄木鸟软件测试
开源方案：大模型测试实战指南
更值得关注的是，头部企业正悄然转向开源测试工具链——不是因为预算限制，而是因其透明性、可审计性与快速迭代能力，恰好匹配大模型‘黑盒深、行为动态、场景泛化’的测试挑战。 这暴露了传统测试范式与大模型非确定性、语义敏感性之间的根本鸿沟。 二、四大开源利器：构建可落地的大模型测试流水线 1. 三、实战案例：用开源栈完成一次端到端大模型测试 以某电商客服大模型升级为例： - 步骤1：用`Promptfoo`构建测试集——导入历史工单对话（500条），标注‘意图类别+预期响应类型+合规关键词’； - 步骤2：用`LangChain`的`LLMTestRunner`批量调用新旧模型，生成响应并结构化存储； - 步骤3：用`DeepEval`执行多维评估：幻觉率（对比商品参数数据库）、情绪一致性（ 正如Linux之于操作系统，TensorFlow之于深度学习，一个健康的开源测试生态，终将定义大模型时代的质量基础设施。现在入场，你不是使用者，而是共建者。
40110编辑于 2026-03-09 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! 这样许多基于openai接口开发的工具(如lanchain，pandasai）就可以使用 ollama支持的免费开源模型替代chatgpt了。 我们这里演示其流式输出模式。 这个段子通过对比单恋情和双恋情在眼神或情感流露方面的不同态度，提出了爱情中的多重考量和策略。它既体现了对直接表达情感的欣赏，也提醒了人们在复杂情感关系中可能需要考虑的因素。
3.8K11编辑于 2024-06-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号