- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
83620编辑于 2023-08-28 - 来自专栏学习
开源大模型与闭源大模型
一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 这有助于发现和修正潜在的偏见和错误，提高模型的可信度 (AIIndex)。 2.社区协作和创新： 开源社区的协作可以加速技术进步。 2.安全和隐私问题： 开源模型的公开性也意味着潜在的安全和隐私风险。恶意行为者可能会利用这些资源进行攻击或滥用，导致数据泄露和隐私侵犯 (Unite.AI)。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型则更注重控制和保护，开发者可以完全掌握模型的使用和分发，防止技术泄露和被滥用。 2.创新速度与商业应用： 开源大模型通过社区协作，能够快速迭代和创新，推动技术进步。
1.8K10编辑于 2024-10-09 - 来自专栏睡前机器学习
开源大模型到底开源什么？
但大语言模型的“开源”完全不是这么一回事。先别管OpenAI现在名叫钮钴禄氏·CloseAI，就算哪天良心发现，真的要找回自己做一个名副其实的OpenAI，洗心革面把GPT-4给开源了。 那么，现在很多研究者在呼吁的开源，到底是要开源什么呢？开源模型，具体来说，是开源训练好的模型参数。模型参数拿到手，基本上就能完整复现能力了。 前面说过，模型这玩意距离能力复现就一步之遥，有很多人爱开源模型，也有很多人不爱开源模型，原因和上面差不多，还有一种是大公司大机构才敢用，官方辞令很多，譬如“出于社会责任考虑”，或者“安全伦理存在巨大风险 这里为咱们的中文开源大语言模型打个Call吧，能讲中文还开源的大语言模型真的不多，清华放出来的ChatGLM-6B应该是佼佼者，而是真·单卡就能运行。这里说的是消费级显卡。 最后就是开源数据集了，这项工作很重要，但也很容易被圈外忽视。现在中文大语言模型缺的东西很多，抱怨的也很多，还有一票人天天平替这个平替那个，实在不知道怎么想。
1.7K20编辑于 2023-09-09 - 来自专栏机器学习入门
【AI大模型】LLM主流开源大模型介绍
学习目标 了解LLM主流开源大模型. 掌握ChatGLM、LLaMA、Bloom等基础大模型的原理 LLM主流大模型类别 随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用 目前，市面上已经开源了各种类型的大语言模型，本章节我们主要介绍其中的三大类： ChatGLM-6B：衍生的大模型（wenda、ChatSQL等） LLaMA：衍生的大模型（Alpaca、Vicuna 、BELLE、Phoenix、Chimera等） Bloom：衍生的大模型（Bloomz、BELLE、Phoenix等） ChatGLM-6B模型 ChatGLM-6B 是清华大学提出的一个开源 小结 本小节主要介绍了LLM主流的开源大模型，对不同模型架构、训练目标、优缺点进行了分析和总结。
1.3K10编辑于 2024-09-24 - 来自专栏机器之心
Llama2开源后，国产大模型在卷什么？
7 月 19 日，开源社区最强的大模型从 Llama 升级到 Llama2。 这意味着，作为开源大模型的代表，Llama2 第一次进入了大范围的商业考量决策之中，开发者们拥有了一个免费、开源且足够商用的大模型底座。 开源与闭源大模型的比赛从此刻开始正式打响。面对开源大模型更低的成本、更快的迭代速度、更高的定制化上限，闭源大模型的壁垒会由什么构建，成为一个问题。 虽然目前 Llama2 仅仅可能是大模型开源生态系统的开端，「大家对 Llama2 的能力边界不是非常清晰，生态系统的形成同样需要一些时间」。 但随着 Llama2 的释出，开源社区的技术能力被带上另一个台阶，大模型开源社区的力量已经无法被忽视。
72060编辑于 2023-09-08 - 来自专栏山行AI
Llama 2：开源 可供研究和商业使用的大模型
在我们测试的大多数基准测试中，Llama-2-Chat 模型的性能优于开源对话模型，并且在我们的人工评估中，就实用性和安全性而言，与一些流行的闭源模型（如 ChatGPT 和 PaLM）不相上下。 /•项目地址：https://github.com/facebookresearch/llama Llama 2：开源，可供研究和商业使用 最新版本的 Llama 现在可以让个人、创作者、研究人员和各种规模的企业访问 我们的微调 LLM，称为 Llama 2-Chat，针对对话使用案例进行了优化。我们的模型在大多数基准测试中表现优于开源的聊天模型，并且根据我们的人工评估结果，可能是封闭源模型的合适替代品。 Llama 2 模型训练使用了 2 兆个标记，并且上下文长度是 Llama 1 的两倍。 Llama-2-chat 模型还额外训练了超过 100 万个新的人工注释。 基准测试 Llama 2 在许多外部基准测试中表现优于其他开源语言模型，包括推理、编码、熟练度和知识测试。
1K10编辑于 2023-08-10 - 来自专栏技术趋势
google开源大模型-gemini
官网：https://deepmind.google/technologies/gemini/#introduction 简介 Gemini是谷歌公司发布的人工智能大模型，能够在从数据中心到移动设备等不同平台上运行 “双子座”Ultra版本是首个在“大规模多任务语言理解”（MMLU）领域超越人类专家的模型。---百度百科 https://baike.baidu.com/item/Gemini/63729669? \n\n\n2. \n2. 客户已在FBA数量栏填写22个，但增值单上又写换22个，可能存在重复。\n3. 客户单独对接你，询问关于换标服务的问题。\n4. 随着未来大模型的普及我们的工作肯定有一部分会通过AI来提高效率，所以可以提升了解并实践
2.5K10编辑于 2024-01-15 - 来自专栏技术人生黄勇
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
“ Meta 开源 LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2 。” 01 — 目前在开源大模型中，比较有名的是Meta的LLAMA模型系列和清华的ChatGLM模型。 特别是在中文领域上，ChatGLM模型经过中文问答和对话的优化，更加符合中文使用者的偏好回答。 Space 空间 ChatGLM2-6B 初体验 自从Meta于7月19日凌晨开源了Llama2，并且可免费商用后，国内也开始了基于Llama2的中文大模型训练，并推出了相应的中文模型。 目前已开源的模型：Chinese-LLaMA-2（7B/13B）, Chinese-Alpaca-2（7B/13B）。 模型选择指引 下面是中文LLaMA-2和Alpaca-2模型的基本对比以及建议使用场景。 从上表看，如果以大模型为核心做应用，最好选择Alpaca-2。
70110编辑于 2024-07-19 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 它是在Megatron-LM GPT2的基础上修改训练出来的，主要使用了解码器唯一结构，对词嵌入层的归一化，使用GeLU激活函数的线性偏差注意力位置编码等技术。 本文的安装方法都是基于pip，如果你不懂pip虚拟环境请运行以下命令（linux如果有python2，请运行pip3）： pip install virtualenv -i https://mirror.baidu.com = time.time() print(f'time cost is {a2 - a1} s') time模块用来计时，我的是十二代i7，花了40s生成。
1K10编辑于 2024-03-29 - 来自专栏AI工程落地
大语言模型--开源数据集
Huggingface排行榜默认数据集 Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 本文主要介绍Huggingface开源大模型排行榜上默认使用的数据集以及如何搭建自己的大模型评估工具 搭建大模型评估工具 1.下载数据集到本地 from datasets import load_dataset 2110.14168.pdf (arxiv.org) 数据集地址：gsm8k · Datasets at Hugging Face 语言：English 介绍：GSM8K是一个包含8.5k的小学数学题，主要用于测试大模型的数学和逻辑推理能力 , 'answer': 'Natalia sold 48/2 = <<48/2=24>>24 clips in May. arxiv.org/abs/2107.03374 数据集地址：openai/openai_humaneval · Datasets at Hugging Face 语言：English 介绍：OpenAI发布的测试大模型编程能力的数据集
2.1K20编辑于 2024-09-18 - 来自专栏科技云报道
开源才是大模型的未来？
一年前，ChatGPT横空出世；7个多月后，Meta宣布开源LLaMA 2，并且可免费商用。 这一天，也成为大模型发展的分水岭。短时间内，LLaMA 2对一些闭源的大模型厂商造成了致命性的打击。 目前，国内也有近一半的大模型选择了开源的方式： 今年7月，智谱AI宣布开源大模型ChatGLM-6B和ChatGLM2-6B，这两个模型的下载量已经先后超过300万和120万。 事实上，自从LLaMA 2开源后，业界开始意识到大模型技术没有任何护栏。 基于成本的考虑，许多企业选择放弃支付上千万元的调用闭源大模型API的费用，转而部署和微调LLaMA 2。 创业者们的目光从解构、增强LLaMA 2转向了构建行业专有大模型，又掀起了一波LLaMA 2+司法、LLaMA 2+医疗等一系列的行业开源大模型。 未来1-2年，开源力量可能在与闭源大模型分庭抗礼。
51610编辑于 2023-12-26 - 来自专栏机器学习AI算法工程
开源大语言模型LLMs汇总
大语言模型 大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。 2023年3月15日，Open AI发布了多模态预训练大模型GPT4.0。 2023年2月，谷歌发布会公布了聊天机器人Bard，它由谷歌的大语言模型LaMDA驱动。 开源大语言模型 本文列举了截止到 2023 年 6 月 8 日开源的大语言模型 1、LLaMA 简介 meta 开源的 LLaMA LLaMA完全是在公共开源预训练数据上训练。 llama 2、ChatGLM - 6B 简介 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。 骆驼(Luotuo)项目是由冷子昂 @ 商汤科技, 陈启源 @ 华中师范大学 以及 李鲁鲁 @ 商汤科技 发起的中文大语言模型开源项目，包含了一系列语言模型。
2.9K10编辑于 2023-09-04 - 来自专栏Python进阶之路
开源教育对话大模型 EduChat
EduChat 是华东师范大学计算机科学与技术学院的 EduNLP 团队开发的开源教育对话大模型。 该项目主要研究以预训练大模型为基底的教育对话大模型相关技术，融合多样化的教育垂直领域数据，辅以指令微调、价值观对齐等方法，提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能，服务于广大老师 在未来，开发者们将持续投入对基础模型的研究，并持续推出更为强大的 EduChat 版本，以丰富全球教育大模型生态，加速全球教育信息化进程。 鉴于上述模型的局限性，我们要求开发者仅将开源的代码、数据、模型以及由该项目生成的衍生物仅用于研究目的，禁止用于商业用途，以及其他可能对社会带来危害的用途。 ---- ️ 参考链接： EduChat - 探索了针对教育垂直领域的对话大模型相关项目研发 EduChat 模型 - 在 educhat-base-002-7b 基础上，使用构建的教育领域多技能数据微调后得到
2K30编辑于 2023-07-10 - 来自专栏为了不折腾而去折腾的那些事
使用 Docker 快速上手官方版 LLaMA2 开源大模型
本篇文章，我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。 所以，现在就来聊聊如何快速上手 LLaMA2 官方版本的大模型。图片完整的开源项目代码，我上传到了 soulteary/docker-llama2-chat，有需要的同学可以自取。 -2-70b-chat-hf等待我们选择的模型下载完后，调整下目录结构：# 创建一个新的目录，用于存放我们的模型mkdir meta-llama# 将下载好的模型移动到目录中mv Llama-2-7b-chat-hf 7b最后本篇文章是 LLaMA2 相关的第一篇文章，短短几个月的时间，开源项目就能够取得这么快速的进步，还是挺令人欣慰和令人期待的。 LLaMA2 不是结束，而是新一轮的开始，开源的世界里，我们永远可以期待更强的家伙出现，不断逼进和挑战当前世界的王。这篇文章的标题里隐藏着下一篇文章的线索，你猜得到吗？
1.9K290编辑于 2023-07-21 - 来自专栏数据猿
Baichuan2开源大模型正式发布，王小川：性能超过LLaMA2
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 ---- ChatGPT火爆出圈之后，社交巨头Meta奋力追赶，分别在3月、7月发布开源的LLaMA、LLaMA2大模型，引领一场大模型开源运动。 百川速度，平均28天推出一款大模型 9月6日，百川智能举办主题为“百川汇海，开源共赢”的发布会，宣布开源升级微调之后的Baichuan2大模型。 理科大提升，Baichuan2挑战LLaMA2 Baichuan2开源大模型是百川智能连续发布三款大模型之后的又一次重大技术迭代。 据介绍，70亿参数的Baichuan2-7B开源大模型在中文水平上超越了LLaMA2 130亿参数开源大模型，在英文水平上与其持平。 对中文使用者而言，“LLaMA2作为一个开源模型的时代已经过去了”。 百川智能采取开源、闭源并重的策略，在推进大模型研发的同时，又积极培育开发者生态。
67540编辑于 2023-09-15 - 来自专栏为了不折腾而去折腾的那些事
使用 Docker 快速上手官方版 LLaMA2 开源大模型
本篇文章，我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。 所以，现在就来聊聊如何快速上手 LLaMA2 官方版本的大模型。 Docker LLaMA2 Chat 开源项目 完整的开源项目代码，我上传到了 soulteary/docker-llama2-chat[1]，有需要的同学可以自取。 先来一起做下准备工作吧。 7b 最后 本篇文章是 LLaMA2 相关的第一篇文章，短短几个月的时间，开源项目就能够取得这么快速的进步，还是挺令人欣慰和令人期待的。 LLaMA2 不是结束，而是新一轮的开始，开源的世界里，我们永远可以期待更强的家伙出现，不断逼进和挑战当前世界的王。 这篇文章的标题里隐藏着下一篇文章的线索，你猜得到吗？
97120编辑于 2023-09-04 - 来自专栏数据派THU
中文对话大模型BELLE全面开源！
来源：高能AI本文约1000字，建议阅读5分钟模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 中文对话大模型开源社区迎来了一名浓眉大眼的新成员！ 但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。 他们已经开源其中的150万数据。 模型：大模型的训练往往具有较高的成本，而一个具备初步的能力的对话模型，将大大降低使用和科研的门槛。 为此，他们基于Bloom和LLAMA，训练了出具效果的对话模型，并完全开放了这些模型的参数。 轻量化：为了便于模型的部署和试用，BELLE团队同时开源了对话模型的量化版本。 总结 可以说BELLE的出现，大大促进了中文开源对话模型的发展，基于他们开源的数据和模型，更多的人可以尝试这些模型，更多的研究工作可以更快捷的展开。
1K20编辑于 2023-04-05 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 github 的 release 页面下载一个编译好的程序并安装 https://github.com/ollama/ollama/releases 安装好之后直接在命令行执行ollama run llama2就会自动去下载并运行 llama2 这个模型，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型
3.2K20编辑于 2024-03-05 - 来自专栏睡前机器学习
为什么巨头开始开源大模型？
先说结论：商业大模型范式可能发生改变，7B大模型标配开源成为免费体验版。 最开始ChatGPT刚出来的时候，我们都以为未来NLP甚至AI的开发范式是：巨头炼丹，虾米调参。 总之，后端模型从此与散户无缘 。 后来买它开源了Llama，点开了开源大模型这条科技树，然后一发不可收拾。初代Llama其实不怎样样，但架不住开源的buf太强，巨头都瑟瑟发抖。 现在出到2了，更不是同日而语，一句话，未来可期。 关于Llama专门写过文章，本该放在这里，总是忘了怎么插链接，后面想起来再补。 Llama点开的开源大模型科技树也颠覆了大模型原本应该出现的巨头炼丹、虾米调参范式，也颠覆了巨头想靠炼丹躺赢的预定路线。 最初的想法，应该也是认为世界线会朝巨头炼丹、虾米调参收束，有了大模型，未来总会有办法卖钱。 但是，在开源大模型用爱发电的冲击下，这条世界线崩塌了。
44820编辑于 2023-09-09 - 来自专栏机器学习AI算法工程
AI大模型开源与闭源
首先我们还是对 大模型以及开源闭源进行一定的分析。 大模型是指具有大规模参数和复杂计算结构的机器学习模型。通常基于深度学习技术。 这些模型在AI的发展中起到了至关重要的作用，尤其是在自然语言处理（NLP）、计算机视觉和语音识别等领域。 以下是开源大模型和闭源大模型的基本简介。 开源大模型 开源大模型近年来在人工智能领域取得了显著的进展，许多开源大模型在学术研究、工业应用和社区创新中发挥了重要作用。 开源大模型与闭源大模型，你更看好哪一方？ 回到我们的主题。评价一个AI模型“好不好”“有没有发展”，首先就躲不开“开源”和“闭源”两条发展路径。 总的来说，开源大模型和闭源大模型各有其优势和挑战。在数据隐私、商业应用和社区参与方面，它们展现出不同的特点和潜力。选择更看好哪一种路径，取决于你所重视的因素和目标。
1.3K10编辑于 2024-07-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号