- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
68020编辑于 2023-08-28 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
76710编辑于 2025-06-27 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型，作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
98800编辑于 2025-07-01 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(2)
(2)是否包含编码器的输出作为输入 在原始 Transformer 模型的基础上，在自然语言处理领域中逐渐衍生出以下3 种方式来构建预训练语言模型。 (2)只包含解码器的预训练语言模型，比如 ChatGPT。 (3)编码器和解码器都包括预训练语言模型，比如 BART。 2）指令数据集通过指令的形式指导模型的生成，能够提高预训练语言模型的泛化能力，使其在之前未做过的任务中能够表现出优秀的零样本推理能力。 (2)信息提取能力弱。 (3)并行计算能力差。 (4)领域迁移能力弱。 GPT-1 将模型的训练分为两个阶段: 第一个阶段通过大批量无标签文本数据构建一个初始的生成式语言模型。 总结 大模型被广泛应用有以下几个前提 ·效果好 ·效率高 ·成本可控 目前，大模型在这几个方面还不够理想。
51010编辑于 2024-09-10 - 来自专栏云原生技术社区
大模型时代已来，Meta发布LLaMA 2
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。 关于LLaMA 2 Meta LLaMA 是一款由Meta公司开发的开源超大规模语言模型。一直以来，LLaMA 系列模型在AI社区内被誉为最强大的开源大模型之一。 相较于之前的版本，LLaMA 2在效果上有了显著提升，甚至可以接近GPT-4的水平。LLaMA 2发布了不同体量的模型，以满足不同的硬件部署成本，为企业提供了更多选择和灵活性。 AML全面支持LLaMA 2推理和微调 灵雀云AML现已全面支持Meta LLaMA 2全系列模型在平台上进行推理和微调，包括70亿参数、130亿参数和700亿参数版本。 相比于直接使用开源模型，企业通过采用AML，可以获得更多优势： ● 一键私有化模型发布 企业可以轻松将训练好的LLaMA 2模型一键发布为私有化API，保护数据安全。
47910编辑于 2023-08-09 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
71401编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏大模型应用
大模型应用：大模型本地部署实战：从零构建可视化智能学习助手.2
topic: str) -> Dict: """学习示例生成方法""" # 实现结构化内容生成我们首先需要明确LocalLearningAssistant类的核心作用：它负责加载大模型 包含一个清晰的概念解释2. 提供一个具体的代码示例或实际应用场景 3. 提出2-3个思考问题帮助巩固理解4. 用中文回答，保持教育性请按以下格式返回：概念：示例：思考问题："""3. with gr.Blocks(theme=gr.themes.Soft()) as demo: # 标题区域 gr.Markdown("# 大模型本地部署 编程助手2. 科学助手3. 数学助手4. 学习助手五、总结 这个项目成功实现了在消费级硬件上部署智能学习助手，基于Qwen1.5-1.8B大模型在CPU环境稳定运行。 with gr.Blocks(theme=gr.themes.Soft(), title="本地AI学习助手") as demo: gr.Markdown("# 大模型本地部署
21110编辑于 2026-01-30 - 来自专栏一臻AI
人人都会AI｜人工智能大模型现状（2）
对于大模型的核心特征，可以概括如下： 训练数据的海量积累是大模型的基石 ChatGPT的训练数据囊括了互联网75%的网站爬虫数据，再加上海量的百科全书、出版物等优质资源，累计词量突破二十万亿个。 涌现能力是大模型最神奇的特质 当模型规模达到一定门槛，它会突然展现出令人惊叹的能力跃升。 这就好比婴儿学步，从蹒跚学步到灵活奔跑，往往只需要一个临界点的突破。 在大模型中，这种跃升表现为语言理解、逻辑推理等能力的质的飞跃。 plt.legend() plt.grid(True) # Add annotations for model versions models = ['GPT-1', 'GPT-2' AI大模型的应用与挑战 大模型在实际应用中展现出惊人的创造力。深度学习模型AlexNet开启图像识别新纪元，如今已发展出更广泛的应用场景。
23310编辑于 2025-03-06 - 来自专栏学习
开源大模型与闭源大模型
这有助于发现和修正潜在的偏见和错误，提高模型的可信度 (AIIndex)。 2.社区协作和创新： 开源社区的协作可以加速技术进步。 2.安全和隐私问题： 开源模型的公开性也意味着潜在的安全和隐私风险。恶意行为者可能会利用这些资源进行攻击或滥用，导致数据泄露和隐私侵犯 (Unite.AI)。 这种模式可以确保公司获得足够的资金来持续研发和改进模型 (livescience.com)。 2.控制和保护： 闭源模型的开发者可以完全控制模型的使用和分发，保护其知识产权和技术优势。 2.创新受限： 由于闭源模型的开发和改进仅限于开发公司内部，外部社区无法直接贡献或改进模型。这可能限制技术的创新和发展速度 (Unite.AI)。 闭源大模型则更注重控制和保护，开发者可以完全掌握模型的使用和分发，防止技术泄露和被滥用。 2.创新速度与商业应用： 开源大模型通过社区协作，能够快速迭代和创新，推动技术进步。
1.5K10编辑于 2024-10-09 - 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
1.7K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
，例如BERT，RoBERT，ALBERT等 2）Encoder-Decoder，既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来 2、 指令微调阶段（Instruction Tuning Stage） 在完成预训练后，就可以通过指令微调去挖掘和增强语言模型本身具备的能力，这步也是很多企业以及科研研究人员利用大模型的重要步骤。 Step 2.训练奖励模型 这个过程涉及到与人类评估者进行对话，并根据他们的反馈来进行调整和优化。评估者会根据个人偏好对模型生成的回复进行排序，从而指导模型生成更符合人类期望的回复。 2）教育知识类产品：得益于大模型强大的理解以及知识储备，很多公司也嵌入其知识类产品进行应用，比如chatPDF就可以帮助经常看论文的科研人员快速地通过问答的方式进行文章的信息提取，理解以及总结重要内容， 2.成本高昂：大模型的训练和部署需要大量的计算资源和人力资源，成本非常高昂。对于一些中小型企业而言，难以承担这些成本，也难以获得足够的技术支持和资源。
21.1K29编辑于 2023-11-22 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 2.3 代码示例 这是一段LoraConfig配置Qwen2的代码，指定模型中的"q_proj"、"v_proj"等层应用LoRA，了解具体有哪些层，可以通过print(model)查看。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结 本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解
90710编辑于 2024-08-13 - 来自专栏AIOT
在Jetson上玩转大模型Day2：环境搭建
检查可能连接的USB摄像头（check for V4L2 devices）在 run.sh 第6-14行中，检查设备上已经连接的USB摄像头，只要能发现到的都添加到列表中，最多数量为10个（编号0-9） 2. 检查I2C设备（check for I2C devices）同样的原理，第17-25行检查设备上已经接上的I2C设备，并添加到设备列表中。3.
1K10编辑于 2024-10-22 - 来自专栏大模型成长之路
【大模型学习 | BLIP2 跌倒检测项目实战（一）】
BLIP2 跌倒项目实战（一）在学习完BLIP,BLIP2模型原理后，如何应用于工业开发至关重要。 ；可以根据需求调整预训练模型；目前LAVIS只支持flant5xl 、flant5xxlpretrain_opt2.7b : decoder-only 模型；自定义一个python文件：from lavis.models import load_model_and_preprocessimport gradio as grimport torch# 加载 BLIP-2 模型（注意：用的是 Flan-T5 Base）device 回答："yes" / "No" 但是目前模型的回答是关于整段话的描述，无论怎么改提示词都没用 为此，构建一份新的数据集微调模型至关重要。 batch_size_eval: 2 num_workers: 4 warmup_steps: 2000 seed: 42 output_dir: "output/BLIP2/Pretrain_stage2
94711编辑于 2025-07-05 - 来自专栏机器之心
Llama2开源后，国产大模型在卷什么？
7 月 19 日，开源社区最强的大模型从 Llama 升级到 Llama2。 这意味着，作为开源大模型的代表，Llama2 第一次进入了大范围的商业考量决策之中，开发者们拥有了一个免费、开源且足够商用的大模型底座。 Llama2 的释出削弱了国产大模型创业公司在市场上的竞争力。「从许多公开的测试集上，我们可以看到，国内大部分的大模型公司的水平距离 GPT-3.5 仍然有距离」，一位 AI 方向资深投资人称。 也就是说，对于国内的大部分大模型创业公司来说，Llama2 意味着一个价格碾压（免费）、技术更强以及可以支持商用的竞争对手。 对那些自研大模型积累不够的公司来说，Llama2 产生的打击则更甚。 因此，面对于 Llama2 的免费优势，能够做到在性能上更好、模型更加易用的头部大模型公司，理论上就能够继续维持整体优势。
61860编辑于 2023-09-08 - 来自专栏山行AI
Llama 2：开源 可供研究和商业使用的大模型
前言 Llama 2 是一个包含了从 70 亿到 700 亿参数的预训练和微调生成文本模型的集合。我们的微调后的 LLM（Llama-2-Chat）专为对话场景进行了优化。 在我们测试的大多数基准测试中，Llama-2-Chat 模型的性能优于开源对话模型，并且在我们的人工评估中，就实用性和安全性而言，与一些流行的闭源模型（如 ChatGPT 和 PaLM）不相上下。 具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，精调 Chat 模型是在 100 万人类标记数据上训练的。有关更详细的示例，可参考 llama-recipes[1]。 Llama 2 模型训练使用了 2 兆个标记，并且上下文长度是 Llama 1 的两倍。 Llama-2-chat 模型还额外训练了超过 100 万个新的人工注释。 基准测试 Llama 2 在许多外部基准测试中表现优于其他开源语言模型，包括推理、编码、熟练度和知识测试。
96410编辑于 2023-08-10 Qwen2大模型微调入门实战（完整代码）
Qwen2是一个开源大语言模型。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习大语言模型微调的入门任务。 （完） Category: Sports, Politics Output:[OUTPUT]Sports """ 我们的训练任务，便是希望微调后的大模型能够根据Text和Category组成的提示词，预测出正确的 加载模型 这里我们使用modelscope下载Qwen2-1.5B-Instruct模型（modelscope在国内，所以下载不用担心速度和稳定性问题），然后把它加载到Transformers中进行训练 import os import swanlab def dataset_jsonl_transfer(origin_path, new_path): """ 将原始数据集转换为大模型微调所需数据格式的新数据集 epoch之后，微调后的qwen2的loss降低到了不错的水平——当然对于大模型来说，真正的效果评估还得看主观效果。
4.2K11编辑于 2024-06-20- 来自专栏技术专栏全家桶
大模型之DeepSeek-OCR2快速入门实战教程
关注公众号【阳光宅猿】回复【加群】进入大模型技术交流群一起学习成长!!! DeepSeek团队发布《DeepSeek-OCR 2: Visual Causal Flow》论文，并开源DeepSeek-OCR 2模型，采用创新的DeepEncoder V2方法，让AI能够根据图像的含义动态重排图像的各个部分 /blob/main/DeepSeek_OCR2_paper.pdf 模型地址：https://huggingface.co/deepseek-ai/DeepSeek-OCR-2 DeepSeek OCR 03、主流VLM与OCR模型 目前VLM模型有很多，除了主流的多模态在线大模型外，还有如Qwen-VL、InternVL、Gemma等 开源的视觉模型。 vLLM 是目前主流的高吞吐推理引擎之一，能够显著提升多模态大模型的推理速度与显存利用率，尤其在处理长文档或多页 PDF 时优势明显。
1.3K10编辑于 2026-02-03 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 人类对齐（Human Alignment） ➢ 将大语言模型与人类的期望、需求以及价值观对齐 ➢ 基于人类反馈的强化学习对齐方法（RLHF） 大模型的研发已经成为一项系统工程 扩展定律（ Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 ，从而获得更可靠的答案 涌现能力与扩展定律的关系 ➢ 涌现能力和扩展定律是两种描述规模效应的度量方法 大模型核心技术 ➢ 规模扩展：扩展定律奠定了早期大模型的技术路线，产生了巨大的性能提升
46010编辑于 2025-03-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号