- 综合排序
- 最热优先
- 最新优先
- 来自专栏Datawhale专栏
《开源大模型食用指南》发布，7个小时，一杯奶茶速通大模型！
Datawhale开源 开源贡献：Datawhale self-llm团队 前 言 《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置 、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 同时，本项目对本地硬件基本没有要求，全程都需要在云服务器上运行，AutoDL租一台3090服务器，每小时需要1.66元，一杯奶茶就可以租一块3090愉快的学习7个小时！ 理论上7小时就可以将本项目的所有教程全部跑通一遍（除全量微调外），一杯奶茶速通大模型，掌握开源大模型部署的核心科技。 文章最后 为什么要做这样一个开源项目？ 所以我和我的小伙伴决心做一个让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中的项目，因此《开源大模型食用指南》诞生了。
1.7K21编辑于 2024-04-24 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 3.资源共享与独占优势： 开源大模型在资源共享方面表现突出，任何人都可以利用这些开源资源进行学习和研究，促进技术的普及和应用。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.8K10编辑于 2024-10-09 - 来自专栏睡前机器学习
开源大模型到底开源什么？
但大语言模型的“开源”完全不是这么一回事。先别管OpenAI现在名叫钮钴禄氏·CloseAI，就算哪天良心发现，真的要找回自己做一个名副其实的OpenAI，洗心革面把GPT-4给开源了。 那么，现在很多研究者在呼吁的开源，到底是要开源什么呢？开源模型，具体来说，是开源训练好的模型参数。模型参数拿到手，基本上就能完整复现能力了。 前面说过，模型这玩意距离能力复现就一步之遥，有很多人爱开源模型，也有很多人不爱开源模型，原因和上面差不多，还有一种是大公司大机构才敢用，官方辞令很多，譬如“出于社会责任考虑”，或者“安全伦理存在巨大风险 这里为咱们的中文开源大语言模型打个Call吧，能讲中文还开源的大语言模型真的不多，清华放出来的ChatGLM-6B应该是佼佼者，而是真·单卡就能运行。这里说的是消费级显卡。 最后就是开源数据集了，这项工作很重要，但也很容易被圈外忽视。现在中文大语言模型缺的东西很多，抱怨的也很多，还有一票人天天平替这个平替那个，实在不知道怎么想。
1.7K20编辑于 2023-09-09 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.3K10编辑于 2024-09-24 - 来自专栏开源社
开源的7大理念
那么，开源到底依靠什么，让自己大获成功？ 本文分析了开源的7大理念，有助于读者更好理解开源的本质要素，这些理念为“完全自主”、“高度开放”、“自发自治”、“自下而上”、“自由竞争”、“赢在声誉”、“社区赋能”。 芬兰学校的暑假有点长，1991年的暑假更是从5月中旬放到了10月中旬，Linus 完全将时间投入到了编程之中，一周7天，一天10个小时，全都在写代码。 Dubbo 花了很多的时间去准备，也把整个过程完全的文档化，孵化过程中，由7位不同的 Release Manger 轮流负责，确保不同的人都可以完成发布。 开源项目大到一定程度，在多个公司捐赠和参与贡献之后，企业之间、企业和社区之间的冲突如何处理和调和？这属于治理层面的问题，也是颇让人费脑筋的问题，黑客可不一定喜欢这个。
1.7K40发布于 2019-08-20 - 来自专栏技术趋势
google开源大模型-gemini
官网：https://deepmind.google/technologies/gemini/#introduction 简介 Gemini是谷歌公司发布的人工智能大模型，能够在从数据中心到移动设备等不同平台上运行 “双子座”Ultra版本是首个在“大规模多任务语言理解”（MMLU）领域超越人类专家的模型。---百度百科 https://baike.baidu.com/item/Gemini/63729669? spm_id_from=888.80997.embed_other.whitelist&vd_source=7d0e42b081e08cb3cefaea55cc1fa8b7 相关能力对比 能力 基准 描述 **中国有多少人：**\n - 目前，中国的人口约为14亿2800万人（2023年7月统计），是世界上人口最多的国家。\n\n\n2. 随着未来大模型的普及我们的工作肯定有一部分会通过AI来提高效率，所以可以提升了解并实践
2.5K10编辑于 2024-01-15 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom outputs[0])) #使用tokenizer对生成结果进行解码 a2 = time.time() print(f'time cost is {a2 - a1} s') time模块用来计时，我的是十二代i7，
1K10编辑于 2024-03-29 - 来自专栏图灵人工智能
Meta无限长文本大模型来了：参数仅7B，已开源
长文本是大语言模型一直在努力的方向。 然而，更新门 φ 引入了更多的模型参数，当模型规模扩大到 70 亿时，不稳定问题仍然存在。 对于 LLAMA2 模型，该研究使用 Flash-Attention V2 加速全注意力的计算。 短上下文评估 表 1 总结了 MEGALODON 和 LLAMA2 在学术基准上的结果，以及其他开源基础模型，包括 MPT、RWKV 、Mamba 、 Mistral 和 Gemma 的比较结果。 指令微调 表 3 总结了 7B 模型在 MT-Bench 上的性能。
41410编辑于 2024-04-19 - 来自专栏深度学习自然语言处理
Meta无限长文本大模型来了：参数仅7B，已开源
长文本是大语言模型一直在努力的方向。 然而，更新门 φ 引入了更多的模型参数，当模型规模扩大到 70 亿时，不稳定问题仍然存在。 对于 LLAMA2 模型，该研究使用 Flash-Attention V2 加速全注意力的计算。 短上下文评估 表 1 总结了 MEGALODON 和 LLAMA2 在学术基准上的结果，以及其他开源基础模型，包括 MPT、RWKV 、Mamba 、 Mistral 和 Gemma 的比较结果。 指令微调 表 3 总结了 7B 模型在 MT-Bench 上的性能。
50210编辑于 2024-04-19 - 来自专栏AI工程落地
大语言模型--开源数据集
Huggingface排行榜默认数据集 Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 本文主要介绍Huggingface开源大模型排行榜上默认使用的数据集以及如何搭建自己的大模型评估工具 搭建大模型评估工具 1.下载数据集到本地 from datasets import load_dataset 2110.14168.pdf (arxiv.org) 数据集地址：gsm8k · Datasets at Hugging Face 语言：English 介绍：GSM8K是一个包含8.5k的小学数学题，主要用于测试大模型的数学和逻辑推理能力 arxiv.org/abs/2107.03374 数据集地址：openai/openai_humaneval · Datasets at Hugging Face 语言：English 介绍：OpenAI发布的测试大模型编程能力的数据集 模型需要根据prompt生成对应的代码，并且执行模型生成的代码，看是否能跑通。
2.1K20编辑于 2024-09-18 - 来自专栏科技云报道
开源才是大模型的未来？
一年前，ChatGPT横空出世；7个多月后，Meta宣布开源LLaMA 2，并且可免费商用。 这一天，也成为大模型发展的分水岭。短时间内，LLaMA 2对一些闭源的大模型厂商造成了致命性的打击。 目前，国内也有近一半的大模型选择了开源的方式： 今年7月，智谱AI宣布开源大模型ChatGLM-6B和ChatGLM2-6B，这两个模型的下载量已经先后超过300万和120万。 8月，阿里宣布开源通义千问70亿参数模型Qwen-7B，一个多月下载量破100万；12月，阿里持续开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio 9月，百川智能宣布开源Baichuan-7B、13B两款大模型，其下载量目前已经突破500万，200多家企业申请部署开源大模型。 比如，以开源切入大模型赛道的百川智能，在发布完Baichuan-7B、Baichuan-13B开源大模型后，参数更大的Baichuan-53B大模型则选择了闭源。
51710编辑于 2023-12-26 - 来自专栏机器学习AI算法工程
开源大语言模型LLMs汇总
大语言模型 大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。 2023年3月15日，Open AI发布了多模态预训练大模型GPT4.0。 2023年2月，谷歌发布会公布了聊天机器人Bard，它由谷歌的大语言模型LaMDA驱动。 开源大语言模型 本文列举了截止到 2023 年 6 月 8 日开源的大语言模型 1、LLaMA 简介 meta 开源的 LLaMA LLaMA完全是在公共开源预训练数据上训练。 本项目开源了经过中文金融知识指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。 骆驼(Luotuo)项目是由冷子昂 @ 商汤科技, 陈启源 @ 华中师范大学 以及 李鲁鲁 @ 商汤科技 发起的中文大语言模型开源项目，包含了一系列语言模型。
2.9K10编辑于 2023-09-04 - 来自专栏Python进阶之路
开源教育对话大模型 EduChat
EduChat 是华东师范大学计算机科学与技术学院的 EduNLP 团队开发的开源教育对话大模型。 该项目主要研究以预训练大模型为基底的教育对话大模型相关技术，融合多样化的教育垂直领域数据，辅以指令微调、价值观对齐等方法，提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能，服务于广大老师 在未来，开发者们将持续投入对基础模型的研究，并持续推出更为强大的 EduChat 版本，以丰富全球教育大模型生态，加速全球教育信息化进程。 鉴于上述模型的局限性，我们要求开发者仅将开源的代码、数据、模型以及由该项目生成的衍生物仅用于研究目的，禁止用于商业用途，以及其他可能对社会带来危害的用途。 ---- ️ 参考链接： EduChat - 探索了针对教育垂直领域的对话大模型相关项目研发 EduChat 模型 - 在 educhat-base-002-7b 基础上，使用构建的教育领域多技能数据微调后得到
2K30编辑于 2023-07-10 - 来自专栏数据派THU
详解：7大经典回归模型
来源：csdn 深度学习爱好者本文约2900字，建议阅读5分钟本文给大家介绍机器学习建模中7大经典的回归分析模型。 什么是回归分析？ 4.它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。 5.自变量不应该相互关联的，即不具有多重共线性。 7.如果因变量是多类的话，则称它为多元逻辑回归。 3. Polynomial Regression多项式回归 对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。 7. ElasticNet回归 ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。 除了这7个最常用的回归技术，你也可以看看其他模型，如Bayesian、Ecological和Robust回归。 如何正确选择回归模型？ 当你只知道一个或两个技术时，生活往往很简单。
1.8K41编辑于 2023-04-18 - 来自专栏数据派THU
中文对话大模型BELLE全面开源！
来源：高能AI本文约1000字，建议阅读5分钟模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 中文对话大模型开源社区迎来了一名浓眉大眼的新成员！ 开源地址：https://github.com/LianjiaTech/BELLE 该项目目前已经开源了如下内容，并且在持续更新中： 150万中文指令微调数据集 以Bloomz-7b1-mt（70亿参数 但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。 他们已经开源其中的150万数据。 模型：大模型的训练往往具有较高的成本，而一个具备初步的能力的对话模型，将大大降低使用和科研的门槛。 模型效果比较 以Bloomz-7b1-mt为基础，BELLE团队评估了不同数量的instruction tuning数据，对模型效果的影响。
1K20编辑于 2023-04-05 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来 /openai-translator/openai-translator 直接去 release 下载安装包后运行，在设置中选择本地大模型，并选择 API 模型为你已经下载好的本地模型保存即可 使用效果
3.2K20编辑于 2024-03-05 - 来自专栏睡前机器学习
为什么巨头开始开源大模型？
先说结论：商业大模型范式可能发生改变，7B大模型标配开源成为免费体验版。 最开始ChatGPT刚出来的时候，我们都以为未来NLP甚至AI的开发范式是：巨头炼丹，虾米调参。 总之，后端模型从此与散户无缘 。 后来买它开源了Llama，点开了开源大模型这条科技树，然后一发不可收拾。初代Llama其实不怎样样，但架不住开源的buf太强，巨头都瑟瑟发抖。 Llama点开的开源大模型科技树也颠覆了大模型原本应该出现的巨头炼丹、虾米调参范式，也颠覆了巨头想靠炼丹躺赢的预定路线。 最初的想法，应该也是认为世界线会朝巨头炼丹、虾米调参收束，有了大模型，未来总会有办法卖钱。 但是，在开源大模型用爱发电的冲击下，这条世界线崩塌了。 7B大小刚刚迈入大模型门槛，有点大模型的能力，但又不是很多。训练成本不高，运行要求也不高，搞个好一点的游戏显卡甚至还能微调。你在论文上读来那些事，都可以亲手试试。自己跑模型那种感觉是独一份的。
44820编辑于 2023-09-09 - 来自专栏机器学习AI算法工程
AI大模型开源与闭源
首先我们还是对 大模型以及开源闭源进行一定的分析。 大模型是指具有大规模参数和复杂计算结构的机器学习模型。通常基于深度学习技术。 这些模型在AI的发展中起到了至关重要的作用，尤其是在自然语言处理（NLP）、计算机视觉和语音识别等领域。 以下是开源大模型和闭源大模型的基本简介。 开源大模型 开源大模型近年来在人工智能领域取得了显著的进展，许多开源大模型在学术研究、工业应用和社区创新中发挥了重要作用。 开源大模型与闭源大模型，你更看好哪一方？ 回到我们的主题。评价一个AI模型“好不好”“有没有发展”，首先就躲不开“开源”和“闭源”两条发展路径。 总的来说，开源大模型和闭源大模型各有其优势和挑战。在数据隐私、商业应用和社区参与方面，它们展现出不同的特点和潜力。选择更看好哪一种路径，取决于你所重视的因素和目标。
1.3K10编辑于 2024-07-04 - 来自专栏AI
开源网络安全大模型 - SecGPT
网络安全大模型是指使用大量数据和参数来训练的人工智能模型，它可以理解和生成与网络安全相关的内容，例如漏洞报告、利用代码、攻击场景等。 目前各家网络安全厂商也纷纷跟进在大模型方面的探索，但可供广大从业者研究的特有网络安全大模型屈指可数，最近，云起无垠开源了他们的网络安全大模型SecGPT，该模型基于Baichuan-13B训练，目前已接近 数据预训练数据收集了安全书籍，安全知识库，安全论文，安全社区文章，漏洞库等等安全内容数据集开源地址：https://huggingface.co/datasets/w8ay/security-paper-datasets 开放问题 可以见到，对于一些特别的问题，模型的回答还是很接地气的，不过对现实世界中的梗的理解能力还有待提高，这可能也是很多目前大模型的普遍存在的问题。 总之，网络安全与大模型的结合必将是未来发展的重要趋势之一，我们也期待能看到更多的安全大模型和数据集被开源出来，更多安全相关的创新应用面向市场。
1.5K10编辑于 2024-08-27 - 来自专栏有文化的技术人
大模型微调开源框架推荐
Axolotl 「GitHub」: https://github.com/OpenAccess-AI-Collective/axolotl 「特点」: 配置驱动，通过 YAML 文件定义训练流程 支持多种模型和微调方法 「GitHub」: https://github.com/unslothai/unsloth 「特点」: 训练速度提升 2-5 倍，显存减少 80% 支持 LLaMA、Mistral、Gemma 等模型 DeepSpeed 「GitHub」: https://github.com/microsoft/DeepSpeed 「特点」: 微软出品，专注大规模分布式训练 ZeRO 优化器大幅降低显存需求 适合超大模型训练 Swift (ModelScope) 「GitHub」: https://github.com/modelscope/swift 「特点」: 阿里达摩院出品 对国产模型（Qwen、ChatGLM）支持好 快速选择建议 场景 推荐框架 新手入门、零代码 LLaMA-Factory Hugging Face 生态 PEFT 显存有限、追求速度 Unsloth 超大规模分布式训练 DeepSpeed 国产模型微调
34410编辑于 2026-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号