- 综合排序
- 最热优先
- 最新优先
- 来自专栏OpenMMLab
不到 200 行代码就能微调 Llama-2！
上周 Meta AI 又搞了个大新闻，发布了他们的第二代大语言模型：Llama-2，并在第一时间开源了训练、推理代码，甚至还提供了官方版和 huggingface 版，在良心开源的同时还考虑到了普通用户 在收到消息的第一时间，我就冲进了官方仓库：llama2-recipes 打算体验一下 llama-2 的训练流程。 在解决这个小问题之后，Llama-2 就能正常训练了，再次给 Meta AI 的开源精神点赞（有图有真相）！ 经历了这个小插曲后，我也差不多摸清楚了 Llama-2 的训练流程，正如论文里所说，它是用 FSDP 进行训练的，诶？ FSDP，MMEngine v0.8.0 不也支持了 FSDP 训练么，于是乎，我就基于 MMEngine 的新特性实现了 Llama-2 的训练流程。
1.2K20编辑于 2023-08-21 - 来自专栏OpenMMLab
使用 LMDeploy 轻松部署 Llama-2 系列模型！
如今，战事尚未落幕，Meta 再次携升级版 Llama-2，王者降临。一时间，江湖再次被搅起，解读、评测层出不穷。 模型部署团队 LMDeploy 自然也要紧跟潮流，本文将带大家一起使用 LMDeploy 快速部署 Llama-2 系列模型。 https://github.com/InternLM/lmdeploy （欢迎大家使用，觉得好用欢迎点亮小星星） Llama-2 目前已经开源的模型有 3 种规格：7B、13B 和 70B。 LMDeploy 的 Llama-2 进阶之路 起步：7B/13B Meta 提供了 Llama-2 7B、13B 的对话模型，支持 4K 长度的 context windows。 因和 Llama 结构相同，所以只要在 LMDeploy 中增加 Llama-2 的对话模板即可。 小贴士：只要是和 Llama，Llama-2 结构相同的语言模型，LMDeploy 都可以部署。
1.7K30编辑于 2023-08-23 - 来自专栏机器之心
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
在对所有 LLAMA-2 系列模型剪裁 25% 情况下，SparseGPT 2:4 模式的表现都逊于 SliceGPT。 经过剪裁的 Phi-2 模型与经过剪裁的 LLAMA-2 7B 模型表现相当。 使用 LoRA 对剪裁过的 LLAMA-2 和 Phi-2 模型进行了少量 RFT。 实验结果如图 6 所示。 经过剪裁的模型 LLAMA-2 70B 保留了约 51.6B 个参数，其吞吐量得到了显著提高。 相比原稠密模型，对于 LLAMA-2 70B，使用 RTX6000 GPU 所需的计算量减少了 64%。
87510编辑于 2024-02-06 - 来自专栏量子位
Llama-2首个全方位评测，国内外开源模型大比拼
Llama-2有多强 Llama-2相比Llama-1有不少技术层面的改进，从而带来了模型性能、推理效率以及安全性等方面的有效提升。 结果显示： Llama-2在英语语言能力、知识水平和理解能力上已经较为接近ChatGPT。 Llama-2在中文能力上全方位逊色于ChatGPT。 这一结果表明，Llama-2本身作为基座模型直接支持中文应用并不是一个特别优秀的选择。 推理能力上，不管中英文，Llama-2距离ChatGPT仍然存在较大差距。 那么国内大模型和Llama-2相比，究竟表现如何呢？很多朋友都关心这个问题。 基于这个结果，我们比较了书生·浦语和ChatGPT与Llama-2的性能： 在重量级模型的对比中，书生·浦语表现优秀，在大部分主流评测集上领先于Llama-2以及ChatGPT。
84620编辑于 2023-08-05 - 来自专栏机器之心
千元预算半天训练，效果媲美主流大模型，开源可商用中文LLaMA-2
LLaMA-2，在多个评测榜单性能优越。 词表扩充与模型初始化 LLaMA-2 原始词表并未针对中文做特定优化，所包含的中文词有限，导致在中文语料上理解力不足。因此，首先对 LLaMA-2 进行了词表的扩充。 有了扩充好的词表，下一步就是基于原有的 LLaMA-2 初始化新词表的 embedding。 为了更好的迁移 LLaMA-2 原有的能力，实现从原有 LLaMA-2 到 中文 LLaMA-2 能力的快速迁移，Colossal-AI 团队利用原有的 LLaMA-2 的权重，对新的 embedding 合适的数据对于激发 LLaMA-2 的中文能力，同时克服英文的灾难性遗忘问题，有着至关重要的作用。
57650编辑于 2023-09-25 - 来自专栏OpenMMLab
大模型社区再掀波澜，Meta重磅开源LLAMA-2，性能升级可商用
我们一起快速看一下新升级的 LLaMA-2 都有哪些令人激动的新特性吧。 700 亿参数模型，推动社区开放进程 相比 LLaMA-1，LLaMA-2 将模型尺寸提升到了 700 亿参数，搭配更海量的训练数据，LLaMA-2(70B) 获得了客观的性能提升，在多个评测集上达到了和 论文也提供了 LLaMA-2(70B) 与闭源模型（GPT-3.5，GPT-4，PaLM, PaLM-2）的性能对比，ChatGPT 在 MMLU 上获得了 70.0 的分数，与 LLaMA-2(70B 除此之外，LLaMA-2 还引入了 Ghost Attention 技术，来提升模型的多轮对话能力。 在 SFT 阶段，LLaMA-2 基于开源的指令微调数据集，开展了一系列数据质量提升的工作。 基于筛选的高质量的 27540 条数据，LLaMA-2 即可解锁优异的对话能力。
1K20编辑于 2023-08-21 - 来自专栏k8s技术圈
玩转70亿参数大模型！使用Walrus在AWS上部署Llama2
添加 Llama-2 服务模板 登入 Walrus，点击左侧导航中的为运维中心，在模板标签页中，点击新建模板按钮。 填入模板名称，例如为llama-2。 创建 Llama-2 服务 在环境标签页中点击dev环境的名称，进入环境视图。 点击新建服务按钮。 填入服务名称，例如my-llama-2。 在模板选项中选择llama-2。 点击保存。 访问 Llama-2 web UI 您可以在 Llama-2 服务的详情页中看到它的部署和运行状态。 从零开始构建 Llama-2 镜像的关键步骤 本教程中使用了打包好的 Llama-2 镜像，这样在创建一个新的 Llama-2 实例时，您就不再需要花费时间下载大语言模型（通常有着可观的文件大小）以及构建推理服务 想要深入了解 Llama-2 如何构建，请参考下方链接查看。
65210编辑于 2023-09-11 - 来自专栏DeepHub IMBA
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。
7.7K70编辑于 2023-09-14 - 来自专栏深度学习自然语言处理
FuseLLM：大语言模型的知识融合！
在使用紧凑多样的语料库进行持续训练后，与Llama-2相比，Llama-2 CLM显示出1.86%的相对改进，尽管这种改进在任务之间相对温和且不一致。 结果表明： FuseLLM在所有五个任务中始终优于基线，与Llama-2相比，相对性能提1.25%。相比之下，Llama-2 CLM 表现出边际改进，与Llama-2相比，相对增强只有0.16%。 与Llama-2相比，OpenLLaMA和MPT在代码生成任务中都表现出显着的性能，FuseLLM的融合结果平均性能增益为6.36%，远高于Llama-2 CLM中观察到的1.37%的改进。 结果表明： 与Llama-2 CLM相比，FuseLLM将精确匹配精度提高了2.5%，并在0.52亿个token内实现了Llama-2 CLM的最佳性能。 知识融合vs.知识蒸馏 知识蒸馏技术也可以用来增强LLM的能力，但FuseLLM由于两个不同的方面而脱颖而出，本文从Llama-2 13B 中提取概率分布，并应用传统的知识蒸馏方法将其能力转移到Llama
1.1K11编辑于 2024-01-31 - 来自专栏量子位
15小时、几千元训完中文版LLaMA2！低成本方案全面开源，包含代码权重，支持商用
尤其是和原始LLaMA-2 相比，在中文能力上有了质的飞跃 (CMMLU: 32.97 -> 49.89)。 词表扩充与模型初始化 LLaMA-2 原始词表并未针对中文做特定优化，所包含的中文词有限，导致在中文语料上理解力不足。 因此，首先对LLaMA-2 进行了词表的扩充。 有了扩充好的词表，下一步就是基于原有的 LLaMA-2 初始化新词表的 embedding。 为了更好地迁移 LLaMA-2 原有的能力，实现从原有 LLaMA-2 到 中文 LLaMA-2 能力的快速迁移，Colossal-AI 团队利用原有的 LLaMA-2 的权重，对新的 embedding 合适的数据对于激发 LLaMA-2 的中文能力，同时克服英文的灾难性遗忘问题，有着至关重要的作用。
85750编辑于 2023-09-26 - 来自专栏Datawhale专栏
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
2.2 Llama-2 系列 Llama-2 模型架构，详见MODEL_CARD（同上） Llama-2使用了和Llama-1相同的模型架构以及tokenizer。 3.2 Llama-2 Llama-2 预训练使用了来自公开可用源的 2T个数据token（未详细指出具体的开源数据）。 在预训练过程中，Llama-2对数据的安全性进行了全面考量。通过对预训练数据进行分析，Llama-2能够增加透明度，并发现潜在的问题根源，如潜在的偏见。 4.2 Llama-2系列 Llama-2模型是在Llama-1的基础上进一步发展的，而Llama-2-Chat模型则是基于Llama-2进行微调的版本。 5.1 Llama-2 vs Llama-1 Meta官方数据显示，Llama-2在众多基准测试中都优于Llama-1和其他开源语言模型。
17.9K53编辑于 2024-04-24 - 来自专栏AIGC 先锋科技
无需额外训练，基于 Llama-2模型，通过 Model-GLUE 实现大规模语言模型的聚合与集成 ！
最后，通过在多样化的Llama-2模型动物园上进行实验，Model-GLUE展示了平均性能提升5.61%，无需额外训练即可实现。 在实验中，作者使用了5组基于Llama-2的7B LLM，模型数量在之间。具体模型候选和性能可在附录B.2中找到。 作者考虑三个模型，Llama-2-Chat [52]，Vicuna [67] 和 CodeLlama [43]，它们都初始化为相同的基模型，Llama-2 [52]。 Llama-2家族（即Which12）包括多达12个模型，直接通过混合实现效率低下。 因此，作者只考虑由合并选择的模型并报告F-L-T混合的结果。从表8中，作者可以观察到完全合并优于F-L-T混合。 因此，作者将完全合并选为Llama-2家族的代表模型，并将其与其他无法通过混合合并的模型相结合。平均而言，Model-GLUE相对于最佳单模型提高了5.61%。更多细节见附录B.7。
43610编辑于 2024-11-08 - 来自专栏自然语言处理(NLP)论文速递
ICLR2024，微软 | 提出LLM剪枝方法-SliceGPT，参数减少25%，保持99%的性能！
在对所有 LLAMA-2 系列模型剪裁 25% 情况下，SparseGPT 2:4 模式的表现都逊于 SliceGPT。 经过剪裁的 Phi-2 模型与经过剪裁的 LLAMA-2 7B 模型表现相当。 使用 LoRA 对剪裁过的 LLAMA-2 和 Phi-2 模型进行了少量 RFT。 实验结果如图 6 所示。 经过剪裁的模型 LLAMA-2 70B 保留了约 51.6B 个参数，其吞吐量得到了显著提高。 相比原稠密模型，对于 LLAMA-2 70B，使用 RTX6000 GPU 所需的计算量减少了 64%。
81010编辑于 2024-01-31 - 来自专栏NewBeeNLP
当LLM面对囚徒困境，阁下又该如何应对？
，但LLaMa-2对游戏的基本机制有更细致的理解 这些结果凸显了LLM在战略决策方面的当前限制和不同的能力水平，警示我们不要在需要复杂战略推理的任务中盲目使用它们。 ，比如GPT-4似乎采用了二元阈值的方法，将游戏分为“高”和“低”社会困境桶，而不是识别每个游戏的独特特征 与上条相反的，LLaMa-2对各种游戏结构有更细致的理解，这表明LLaMa-2在处理不同战略情境的微妙之处方面更加有优势 对于LLaMa-2，作者通过HuggingFace Pipeline访问LLaMa-2。 此外，LLaMa-2对游戏的关注程度也高于对上下文的关注程度，但程度不及GPT-4。 与此相反， LLaMa-2对各种游戏结构有更细致入微的理解 ，尽管与GPT-4相比更加强调上下文因素，但这恰好这表明 LLaMa-2更适合在考虑上下文的决策过程中应对不同战略情景的微妙之处 ，而GPT-
47510编辑于 2024-03-18 - 来自专栏云原生工具箱
SkyPilot：一键在任意云上运行 LLMs
创建和运行 Llama-2 Chatbot 以下仅为简要步骤，详细操作请参考官方文档[4]。 前提条件 访问此链接[5]申请使用 Llama-2 模型。 从 huggingface 获取访问令牌，在 huggingface 生成只读访问令牌[6]，并确保你的 huggingface 账户可以访问 Llama-2 模型[7]。 参考资料 [1] Llama-2 Chatbot: https://github.com/skypilot-org/skypilot/tree/master/llm/llama-2 [2] 官方文档: WT.mc_id=AZ-MVP-5005283 [4] 官方文档: https://github.com/skypilot-org/skypilot/tree/master/llm/llama-2 [5 /models-and-libraries/llama-downloads/ [6] 生成只读访问令牌: https://huggingface.co/settings/token [7] 可以访问 Llama
1.8K10编辑于 2023-10-16 - 来自专栏新智元
LLM的「母语」是什么？
模型 实验专注于Llama-2系列语言模型。Llama-2系列模型在多语言语料库上进行训练，语料库主要由英语主导（占89.70%）。 Llama-2有7B/13B/70B三种尺寸，分别为32/40/80层，嵌入维度d=4096/5120/8192，词汇表V包含32,000个token。实验中使用8位量化探究这三种不同大小的模型。 实验 实验的目标是探索Llama-2的内部状态，是否与特定的自然语言相对应，这需要从token分布映射到语言。 扫描Llama-2的词汇表，寻找具有单token英文翻译的单token中文单词（主要是名词）。 这样一来，Llama-2预测下一个中文单词的正确概率就可以直接从下一个token概率中读出。 三个任务的测试结果如下： 上图表示Llama-2前向传递期间，每一层输出是英语还是中文的概率，三个任务分别为：（a）从德语/法语/俄语到中文的翻译任务，（b）中文重复任务，（c）中文完形填空任务。
37910编辑于 2024-06-05 - 来自专栏深度学习自然语言处理
ICL的时候，更多sample好还是更多prompt好呢？
排除了LLaMA-2的原因是初步实验显示了LLaMA-2在“中性”类别上有过拟合问题。我们使用vanilla ICL作为基线。 对LLaMA-2进行分析 利用三种不同的自然语言指令，在ANLI上对LLaMA-2进行初始推理实验: 1️⃣确定一个假设是否是蕴涵的，中性的，矛盾的前提。 结果如表2所示，我们可以很容易地观察到，尽管改变了指令，LLaMA-2倾向于过度预测其他两个类别的"中性"，而真实分布是跨类别的。因此，我们在工作中省略了LLaMA-2。 可能有不同的原因导致了这个问题;例如，LLaMA-2对NLI任务或共享同一组目标类别("蕴含"、"中性"和"矛盾")的类似任务进行了过拟合。 并且我们的实验原本打算由三个SOTA LLM组成，但由于LLaMA-2倾向于预测“中性”类别，因此不包括它。我们仍有各种其他的指令微调LLM没有包括在这项工作中，如InstructGPT。
77211编辑于 2023-11-22 - 来自专栏量子位
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需16内存
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法： 它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 困惑度持续降低 团队将CEPE应用于Llama-2，并在200亿 token的RedPajama过滤版本上进行训练（仅为Llama-2预训练预算的1%）。 最终，CEPED可以在保留指令理解能力的同时，扩展Llama-2的上下文窗口，提高模型长文本性能。 团队介绍 CEPE一共3位作者。
44410编辑于 2024-02-29 - 来自专栏机器之心
首款大模型杀进C-Eval榜单前三，这家仅成立两个月的初创公司凭什么？
四、市场的噪声 然而，大模型初创公司也面临着一系列的挑战，特别是目前大模型市场混乱，各种真假难辨的大模型，以及开源模型的出现，诸如 Llama-2，给消费市场和投资人造成了相当程度上的认知错乱。 撇开所谓套壳子的大模型团队，更多的舆论来自于开源 Llama-2 的影响。 某种意义上说，开源 Llama-2 系列的价值或许没有想象中巨大，特别是对具备自研能力的团队没有任何实质性的冲击。 因为大模型涉及到一个体系，包括模型优化，人类行为对齐，模型压缩，模型控制等，这些都是 Llama-2 没办法提供的。 在整个大模型研究和应用的流程中，Llama-2 只解决了最开始的部分，那就是预训练，而这一步是全流程中技术最简单、价格最便宜的一个环节。 从实际结果来看，大模型市场并没有因为 Llama-2 的开源带进来新的实力玩家，目前开源仅有 Meta 一家，OpenAI、谷歌、Anthropic 占据闭源生态。
42520编辑于 2023-09-08 - 来自专栏技术人生黄勇
StreamingLLM 框架：利用最新标记让 AI 记住你的话、创作长篇小说，探索无限长度文本
该框架可以使Llama-2、MPT、Falcon和Pythia在高达400万个令牌的情况下进行稳定和高效的语言建模。 例如，如果Llama-2在预训练时使用了4096个上下文窗口，那么Llama-2上的StreamingLLM的最大缓存大小仍为4096。 效果 StreamingLLM可以让Llama-2、MPT、Falcon和Pythia进行稳定而高效的语言建模，在预训练过程中添加一个占位符作为专门的注意力汇聚，可以进一步改进流式部署。 例如，如果Llama-2在预训练时使用了4096个上下文窗口，那么Llama-2上的StreamingLLM的最大缓存大小仍为4096。
61110编辑于 2024-07-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号