- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
3.1K00编辑于 2025-05-08 - 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
51110编辑于 2024-04-24 - 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10%E5%AE%89%E8%A3%85anaconda3%E6% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.7K30编辑于 2023-09-12 大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 Cursor与大语言模型应用的新层级Cursor最引人关注的点（除了其2025年的爆发式增长），在于它清晰揭示了大语言模型应用的一个全新层级，人们开始普遍讨论“某领域的Cursor模式”。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的
80010编辑于 2025-12-24- 来自专栏AI及人工智能
腾讯云DeepSeek大模型应用搭建指南
2月8日，腾讯云宣布上线DeepSeek-R1及V3原版模型API接口，通过强大的公有云服务，腾讯云可以为用户提供稳定优质的服务。 同时，腾讯云旗下大模型知识应用开发平台知识引擎也接入了DeepSeek-R1及V3这两款模型，并率先支持联网搜索，结合知识库、RAG等能力，随着人工智能技术的不断发展，腾讯云的DeepSeek大模型为开发者提供了强大的自然语言处理能力 本文将带领你从零开始，教你如何搭建一个基于腾讯云-DeepSeek的智能应用，帮助你快速实现AI技术的应用场景。一、前期准备在开始搭建腾讯云-DeepSeek应用之前，你需要进行一些准备工作。1. 端口和9091端口是否被占用接下来根据MD文档，修改一下js文件中的秘钥API密钥管理从这里新建秘钥，腾讯云默认最多只有两个，创建好记得保存上，因为后面就看不到了修改代码中的secret等参数appid是大模型中 static.js标识ws模式还是sse模式链接对话，可选值ws和sseconst ACCESS_TYPE = 'sse';体验机器人的appkey，同上服务配置项中appIdconst APP_KEY = '在大模型
2.5K50编辑于 2025-02-17 - 来自专栏token的技术分享
从0开始搭建免费大模型平台
下面我们讲解从0开始搭建我们的免费大模型管理平台，接入其他的免费大模型，然后加入到我们自己的平台当中，然后进行监控和管理。 部署大模型管理平台 下面我们将在拥有docker的环境下部署我们的大模型管理平台。 打开我们的服务器。 使用默认密码登录到系统当中 账号：admin 密码：admin 注册腾讯大模型 点击这里[1] 进混元大模型，然后登录， 然后接入控制台腾讯云 - 控制台 (tencent.com)[2] 然后点击创建密钥 ，创建完成以后得到密钥， 添加模型渠道 下面我们打开大模型管理平台，然后进入渠道菜单，然后点击右上角的操作展开的创建渠道 渠道名称 测试模型 渠道类型腾讯混元大模型 代理地址 空 资源地域 （看个人情况定 根据上面的测试，我们给我们的平台接入了腾讯大模型的免费模型hunyuan-lite 然后我们试试看用semantic-kernel进行对话操作。
1.3K10编辑于 2024-06-18 - 来自专栏猫头虎博客专区
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务 尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。 ： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。 将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。 Optional 模型的实现仍然处在变动中。 局限性 由于 ChatGLM-6B 的小规模，其能力仍然有许多局限性。以下是我们目前发现的一些问题： 模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。
1.6K10编辑于 2024-04-08 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
36710编辑于 2024-09-10 小林 coding 大模型训练：从零搭建专属大模型的完整技术路线
当通用大模型无法满足垂直业务需求时，自训练专属模型成为必然选择。 近年来，大语言模型在代码生成、代码补全、代码审查等场景展现出巨大潜力。然而，通用模型在特定框架（如Spring Boot）、特定语言（如中文注释规范）和特定业务语义上的表现并不理想。 这正是自训练垂直领域模型的典型适用场景。本文将以训练一个名为“小林 coding”的代码辅助大模型为实战案例，基于腾讯云TI平台和GPU云服务器，完整呈现从零搭建专属大模型的技术路线。 指令数据构建为提高模型的指令遵循能力，我们采用Self-Instruct方法，利用已有的大模型（如混元大模型）从种子指令集扩展生成50万条多轮对话数据，覆盖代码生成、代码解释、Bug修复、性能优化等典型场景 （TKE）的完整基础设施，大幅降低了自训练大模型的技术门槛。
22900编辑于 2026-06-23- 来自专栏流川疯编写程序的艺术
《书生·浦语大模型实战营》第6课 学习笔记：Lagent & AgentLego 智能体应用搭建
大语言模型的局限性 幻觉 时效性 可靠性 幻觉 随着大语言模型的快速发展，逐渐发现即使是 GPT-4 这样的大语言模型，在某些场景下也不能满足实际需求，有着诸多的局限性，比如幻觉。 Web demo：轻量级智能体 多模态大模型领域最经典的成果都有哪些？ 在多模态大模型领域，有许多经典的成果。 》第1课 学习笔记：书生·浦语大模型全链路开源体系 《书生·浦语大模型实战营》第2课 学习笔记：轻松玩转书生·浦语大模型趣味 Demo 《书生·浦语大模型实战营》第3课 学习笔记：搭建你的 RAG 智能助理 书生·浦语大模型实战营》第6课 学习笔记：Lagent & AgentLego 智能体应用搭建 《书生·浦语大模型实战营》第7课 学习笔记：OpenCompass 大模型评测实战 课程资源 学员手册 https 课程笔记 第6课 实践笔记 https://blog.csdn.net/hu_zhenghui/article/details/138811450 本人博客： 基于大语言模型的本地知识库问答系统构建方案
51510编辑于 2024-07-01 - 来自专栏MavenTalk
ChatGLM-6B大模型微调实战总结
上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手 在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。 /THUDM/chatglm-6b \ # 加载模型文件地址 --output_dir output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR \ # 保存训练模型文件地址 在实践中，我们使用了 ChatGLM-6B 模型，并经历了模型的训练和推理过程。训练模型消耗了相当多的时间，但也让我们体会到了模型训练的复杂性和挑战性。 —扩 展 阅 读— 正在发生或即将发生的AI大模型应用，立帖为证 ChatGPT、Claude和Bard，三足鼎立之势已成 WPS Office AI实战总结，智能化办公时代已来 你对 ChatGPT
4.2K43编辑于 2023-09-06 谷歌Gemma 大模型 部署搭建本地详细教程
特点速度快速：Gemma 使用 TensorFlow Lite 模型，可以快速运行在移动设备上。准确性：Gemma 使用预训练的模型，可以实现准确的物体检测和分类。 谷歌Gemma是一系列轻量级、最先进的开放模型，由Google AI构建并开源。Gemma模型旨在为各种自然语言处理任务提供卓越的性能，同时保持较低的资源需求和部署灵活性。 Gemma模型可以通过以下方式使用：在本地计算机上使用：可以下载Gemma模型的代码和权重，并在本地计算机上运行。 来自Gemma官网：Gemma 模型与 Gemini 共享技术和基础设施组件，Gemini 是我们当今广泛使用的最大、功能最强大的 AI 模型。 Gemma 模型能够直接在开发人员笔记本电脑或台式计算机上运行。值得注意的是，Gemma 在关键基准上超越了更大的模型，同时遵守我们关于安全和负责任的输出的严格标准。
3.4K10编辑于 2024-04-07- 来自专栏Java技术进阶
书生·浦语大模型图文对话Demo搭建
前言 本节我们先来搭建几个Demo来感受一下书生浦语大模型 InternLM-Chat-7B 智能对话 Demo 我们将使用 InternStudio 中的 A100(1/4) 机器和 InternLM-Chat ，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。 Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。 ，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。 使用python脚本下载模型首先要安装依赖，安装代码如下：pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。
56710编辑于 2024-02-28 - 来自专栏技术汇总专栏
基于腾讯云智能体开发平台的DeepSeek满血版模型搭建【法律大模型专家模型搭建实战】
基于腾讯云智能体开发平台的DeepSeek满血版模型搭建【法律大模型专家模型搭建实战】一.AI普惠时代的开发者机遇随着腾讯云智能体开发平台（LKE）正式接入DeepSeek-R1和V3两大模型，开发者与企业可借助其 高效搭建：提供多种应用开发方式，完成企业级Agent、RAG（检索增强生成）、工作流应用创建及发布，预置优质官方插件，降低大模型应用落地门槛。 二.法律大模型应用搭建实战腾讯云智能体开发平台内置DeepSeek-R1、V3模型，通过DeepSeek 模型+联网搜索+行业领先RAG能力，分钟级快捷搭建并发布联网应用，且可实现与现有业务系统的无缝对接 5.选择模型：在“模型设置”中选择“DeepSeek-R1/V3”模型，开启“联网搜索”开关。搭建知识库6.测试与发布：在测试窗口查看对话效果，发布到生产环境。 在法律领域的人工智能应用中，基于腾讯云智能体开发平台的DeepSeek满血版模型无疑是一个突破性进展。这一模型的搭建，标志着法律大模型专家系统的专业化和智能化取得了质的飞跃。
2.3K11编辑于 2025-02-24 - 来自专栏山行AI
如何基于OpenAI大模型搭建提示词工程
前言：这是一篇很好地讲解了提示词工程的文章，提示词是fine tune大模型的一种比较经济适用的方式，基于提示词搭建一套agent可能是能形成未来生产力的关键一环。 2罐各有3个网球，一共 6个网球。5+6=11。答案是11。 Q：食堂有23个苹果。他们用了20个做午餐， 又买了6个，他们现在有多少个苹果？ 他们又买了6个，现在有9个苹果。答案是9。 你可以看到同一个模型根据提示可以输出简单到非常复杂的答案。因此，设计提示的方式非常重要。 我将介绍的方法有： •少样本提示•思维链提示[2]•自一致提示[3]•ReAct - 推理与行动提示[4]•PAL - 程序辅助语言模型[5]•MRKL 系统 - 模块化推理、知识和语言[6]•自问自答搜索 输出2 当我6岁时，我的姐姐的年龄是我的一半。这意味着当我6岁时，我的姐姐是3岁。 这意味着我的姐姐现在是70 - 3 = 67岁。答案是67。 输出3 当我6岁时，我的姐姐的年龄是我的一半。
1.5K10编辑于 2023-09-08 - 来自专栏技术杂记
ELK 搭建6
但由于ES里没有数据，所以显示不出什么 ---- 安装logstash [root@h102 ELK]# rpm -ivh logstash-2.1.1-1.noarch.rpm Preparing... ########################################### [100%] 1:logstash ########################################### [100%] [root@h
37820编辑于 2022-02-11 - 来自专栏MavenTalk
快速部署ChatGLM-6B大模型实战总结
近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。 然而，当开源的大模型 ChatGLM 面世时，我却遇到了一些困扰，但幸运的是，腾讯云给了我一个难得的机会。 下载模型文件 https://github.com/THUDM/ChatGLM-6B 官方网站 从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。 huggingface.co/THUDM/chatglm-6b 模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件： 测试 终端运行 Demo 进入ChatGLM server.port 27777 --server.address 0.0.0.0 执行成功的效果如下： 打开浏览器可见到如下界面： 跟它对话一下，看看效果： —扩 展 阅 读— 正在发生或即将发生的AI大模型应用
2K20编辑于 2023-09-06 - 来自专栏卓越笔记
软件质量模型的 6 大特性 27 个子特性
软件质量模型的 6 大特性 27 个子特性 一、功能性： 1、适合性：软件是否提供了相应的功能 2、准确性：软件提供的功能是否正确（用户需要的） 3、互操作性：产品与产品之间交互数据的能力
1.3K30编辑于 2023-02-18 〔从零搭建〕大模型应用开发平台部署指南
:5173/ui_moat/ 请联系市场总监获取账号密码 一、大模型应用开发平台基于开源项目BISHENG建设 AllData数据中台商业版集成BISHENG开源项目为大模型应用平台，BISHENG 三、可选配置 --功能扩展与定制化 3.1 集成第三方模型： 下载模型文件（如chatglm3-6b): 选修改config.ini配置模型路径： 四、可选配置 --常见问题与解决方案 4.1 GPU 解决：检查模型文件完整性： 重新下载模型： 1、会话 会话功能支持多轮交互与上下文记忆，可自然理解用户意图，实现智能问答、任务连续处理等场景化对话 2、构建 提供可视化低代码工具，支持拖拽组件快速搭建 ，实现高效任务分流与响应 5、工作流拖拉拽-编辑开发 支持可视化拖拽组件，灵活串联多模型与数据处理步骤，实现复杂AI业务流程的自动化构建 6、流程编排-保存 7、对外发布 提供模型部署、应用开发及数据治理等核心能力 ，支持企业快速构建与部署大模型驱动的智能应用 8、创建工作流-大模型竞技场 9、工作流拖拉拽开发 可以可视化拖拽形式，灵活组合模型、工具与数据流，助力快速构建高效智能业务处理流程 10、流程编排
1.1K10编辑于 2025-09-15- 来自专栏muller的测试分享
搭建企业内部的大语言模型系统
大纲开源大语言模型大语言模型管理私有大语言模型服务部署方案开源大语言模型担心安全与隐私？ 可私有部署的开源大模型商业大模型，不支持私有部署ChatGPTClaudeGoogle Gemini百度问心一言开源大模型，支持私有部署MistralMeta LlamaChatGLM阿里通义千问常用开源大模型列表开源大模型分支大语言模型管理大语言模型管理工具 HuggingFace 全面的大语言模型管理平台Ollama 在本地管理大语言模型，下载速度超快llama.cpp 在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理GPT4All 一个免费使用 无需 GPU 或互联网Ollama 速度最快的大语言模型管理工具Ollama 的命令ollama pull llama2ollama listollama run llama2 "Summarize this } ]}'大语言模型的前端大语言模型的应用前端开源平台 ollama-chatbot、PrivateGPT、gradio开源服务 hugging face TGI、langchain-serve开源框架
75010编辑于 2024-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号