- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
2.7K00编辑于 2025-05-08 - 来自专栏烟草的香味
6大设计原则之接口隔离原则
接口隔离原则的定义 什么是接口. 实例接口,比如定义了一个Person类,然后 Person p = new Pserson(); 产生一个实例,Person类就是 p 的接口 类接口,就是Java中使用 interface 定义的接口 什么是隔离 隔离要求将接口尽量细化,同时接口中的方法尽量少. 接口的规范约束 接口要尽量小,这是接口隔离原则的核心定义,但是"小"是有限度的,首先就是不能违背单一职责原则. . ---- 接口隔离原则就是对接口的定义,同时也是对类的定义,接口和类尽量使用原子接口或原子类来组装.
87610发布于 2019-07-25 - 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
42110编辑于 2024-04-24 - 来自专栏锤子代码
Nginx反向代理大模型推理接口(SSE)
Nginx作用这么大？ 在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。 用普通的Nginx代理配置接口返回特别慢。 找了下原因，发现是代理配置有问题。 接口总算丝滑了。 http://192.168.0.105:228866 这个地址是你对应第三方AI大模型返回数据的接口。
1.1K10编辑于 2025-04-04 大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 Cursor与大语言模型应用的新层级Cursor最引人关注的点（除了其2025年的爆发式增长），在于它清晰揭示了大语言模型应用的一个全新层级，人们开始普遍讨论“某领域的Cursor模式”。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的
60510编辑于 2025-12-24- 来自专栏大模型应用
大模型应用：大模型的本地 API 服务：FastAPI 封装与接口鉴权.44
一、引言 大模型的里里外外我们都进行了很多细节的讲解，但大模型的部署引用还没有涉及太多，今天我们重点讲一下模型的接口发布，以及利用Postman工具的鉴权调试，Postman 是一款轻量、 核心作用：把大模型的 "推理功能"（比如文本生成、问答），包装成 "可网络调用的接口"。2.3 接口鉴权的核心目的身份验证：确认调用者是 "自己人"，不是恶意攻击者。 定义接口函数：写一个 Python 函数，接收用户请求，比如提示词，调用大模型生成结果，再返回给用户。 启动服务：用 Uvicorn（ASGI 服务器）运行应用，大模型就变成了可网络访问的 API 服务。3. 接口鉴权原理3.1 调用 API Key 鉴权的接口本质：验证 "调用者凭证" 的有效性。 验证结果处理： 如果令牌有效，服务器执行业务逻辑（例如，使用大模型生成文本）。如果令牌无效（如签名错误、已过期等），则返回401错误。6.
48153编辑于 2026-03-13 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
30510编辑于 2024-09-10 - 来自专栏猫头虎博客专区
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务 尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。 ： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。 将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。 Optional 模型的实现仍然处在变动中。 局限性 由于 ChatGLM-6B 的小规模，其能力仍然有许多局限性。以下是我们目前发现的一些问题： 模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。
1.4K10编辑于 2024-04-08 - 来自专栏小鑫同学编程历险记
【程序设计】6大设计原则之接口隔离原则
背景： 在实际的业务开发中往往会因为初期的设计不合理，使得接口中定义了众多方法，而这些接口在实现类中又并不需要全部实现。 这样的接口定义是不利于扩展的，也将对后期的维护带来困扰，我们将通过示例来演示符合接口隔离原则带来的好处。 概念： 接口隔离原则的定义: 客户端不应该被迫依赖于它不适用的方法 接口隔离原则的要求: 将臃肿庞大的接口拆分成更小的和更加具体的接口,保证客户端只得到自己需要的方法 案例： 需求： 设计HomePage 符合原则实现： 将要原来的接口进行细粒度拆分： 拆分后的接口可以由需要页面有选择的进行自由组合来实现 interface OnClickListener { onClick(): void; } 按照合理的设计进行符合接口隔离原则的拆分对实现代码高内聚，低耦合将变得尤为重要。
42220编辑于 2022-12-26 - 来自专栏MavenTalk
ChatGLM-6B大模型微调实战总结
上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手 在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。 /THUDM/chatglm-6b \ # 加载模型文件地址 --output_dir output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR \ # 保存训练模型文件地址 在实践中，我们使用了 ChatGLM-6B 模型，并经历了模型的训练和推理过程。训练模型消耗了相当多的时间，但也让我们体会到了模型训练的复杂性和挑战性。 —扩 展 阅 读— 正在发生或即将发生的AI大模型应用，立帖为证 ChatGPT、Claude和Bard，三足鼎立之势已成 WPS Office AI实战总结，智能化办公时代已来 你对 ChatGPT
4.2K43编辑于 2023-09-06 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】函数调用 Function Calling ① ( 人机交互接口 与 应用程序编程接口 | 语言界面接口 | AI 大模型缺陷与补救措施 | 函数调用为大模型赋能 真逻辑 )
应用程序编程接口 发展问题 , 短时间内实现的可能性不大 ; 二、AI 大模型缺陷与补救措施 - 函数调用 Function Calling 引入 1、AI 大模型原理 GPT 大模型 ( Generative ; 根据现有提示词 , 后面生成每个词的概率中 , sat 的概率是 0.5 , 概率最大 , 则生成 sat 单词 ; 2、AI 大模型缺陷 AI 大模型有如下 缺陷 : 并非全知全能 : AI 大模型 上述 三种缺陷 , 因此 需要 有一种机制 , 使得 AI 大模型 需要 与 外部进行交互 , 为 AI 大模型 对接 各种接口 ; 特定领域的知识或消息 , 如 : 非公开信息等 ; 专业领域的接口 , 数据输入进去 , 跟炼丹一样 , 得到一个结果 , 不知道具体的推理步骤和过程 ; GPT 大模型 并没有 逻辑推理能力 ; 5、函数调用 Function Calling 为 大模型 赋能 " 解决各种具体的问题 ; 函数调用 Function Calling 就是 使用代码 实现的 " 真逻辑 " , 嵌入到 AI 大模型中 , 在 大模型 的 概率生成文本的 基础上 增加 确定性的 "
1.8K10编辑于 2024-07-14 - 来自专栏MavenTalk
快速部署ChatGLM-6B大模型实战总结
近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。 作为这些产品的忠实测试者之一，我同时也尝试过这些产品的 API 接口，与微信对接，实现了微信聊天机器人。 然而，当开源的大模型 ChatGLM 面世时，我却遇到了一些困扰，但幸运的是，腾讯云给了我一个难得的机会。 下载模型文件 https://github.com/THUDM/ChatGLM-6B 官方网站 从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。 server.port 27777 --server.address 0.0.0.0 执行成功的效果如下： 打开浏览器可见到如下界面： 跟它对话一下，看看效果： —扩 展 阅 读— 正在发生或即将发生的AI大模型应用
1.9K20编辑于 2023-09-06 - 来自专栏卓越笔记
软件质量模型的 6 大特性 27 个子特性
软件质量模型的 6 大特性 27 个子特性 一、功能性： 1、适合性：软件是否提供了相应的功能 2、准确性：软件提供的功能是否正确（用户需要的） 3、互操作性：产品与产品之间交互数据的能力 产品在规定的条件下，在规定的时间内完成规定功能的能力 1、成熟性：软件产品为避免软件内部的错误扩散而导至系统失效的能力（主要是对内错误的隔离）,exception等的处理 2、容错性：软件防止外部接口错误扩散而导致系统失效的能力
1.2K30编辑于 2023-02-18 - 来自专栏机器学习
瑞莎星睿 O6 (Radxa Orion O6) 运行大模型
那么如何使用CIXP1NPUSDK运行基于NPU加速推理的人工智能模型和应用，如果你已经拥有了一个硬件设备，NPUSDK包含NOECompiler与CIXAIModelHub,要获取SDK需要通过申请CIX )在编译的同时，我们可以去魔搭社区去下载GGUF格式的模型，为后面的体验做准备新开一个终端，然后运行下面的命令进行模型的拉取这里我们以[通义千问3-8B-GGUF·模型库](https://www.modelscope.cn /models/Qwen/Qwen3-8B-GGUF展开代码语言：TXTAI代码解释等待模型完成下载。于此同时我们之前的build工作也完成了! --qSOXX00tZ-LHgtH3UXjWNkk4FiKxGCGeYl7WzppRj1wIB4KwLb0)##推理测试当我们的模型下载完成后如下! /models/Qwen/Qwen3-8B-GGUF/Qwen3-8B-Q5_K_M.gguf展开代码语言：TXTAI代码解释>-m后面接的是你模型保存的位置!
72010编辑于 2025-11-14 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (6) 分割与征服
所谓的分治，就是将一个大而复杂的问题，拆分为小而容易解决的问题。
42420编辑于 2023-10-25 - 来自专栏科学最Top
2024年NIPS中6篇时序大模型研究汇总
该预测器与任何仅解码器的大型语言模型都兼容，展现出回溯长度的灵活性，而且随着大型语言模型规模的增大，其可扩展性也得以体现。 (NIPS24) 大型语言模型（LLMs）正被应用于时间序列预测。但语言模型对时间序列真的有用吗？ 在对三种近期流行的基于大型语言模型的时间序列预测方法进行的一系列消融研究中，我们发现移除大型语言模型组件或者用一个基本的注意力层代替它，并不会降低预测性能 —— 在大多数情况下，结果甚至有所提高！ 我们还发现，尽管预训练的大型语言模型计算成本很高，但它们并不比从头开始训练的模型表现更好，它们无法体现时间序列中的顺序依赖关系，在少样本情境下也没有帮助。 6、论文标题：Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate
1.2K10编辑于 2024-10-31 - 来自专栏啄木鸟软件测试
接口测试第6讲：接口测试理论
format_id=10002&support_redirect=0&mmversion=false 渗透式测试环境与代码 实验代码： 链接：https://pan.baidu.com/s/14XsCng6laiSiT_anuwr5dw pwd=zp3o 提取码：zp3o 4）Debian 6(Kali Linux) 链接：https://pan.baidu.com/s/1Uw6SXS8z_IxdkNpLr9y0zQ? pwd=17g6 提取码：17g6 开机密码：见页面提示 解压后直接为vmx文件，直接可用
76710编辑于 2022-12-29 - 来自专栏技术杂货店
java集合【6】——— Iterable接口
iterable接口 整个接口框架关系如下（来自百度百科）： iterable接口其实是java集合大家庭的最顶级的接口之一了，实现这个接口，可以视为拥有了获取迭代器的能力。 public static void spliterator(){ List<String> list = Arrays.asList("1", "2", "3","4","5","6" Spliterator<String> spliterator2 = spliterator1.trySplit(); // spliterator1:8~10 spliterator3:6~ --------------- spliterator2: 1 2 3 4 5 ------------------------------------------ spliterator3: 6 iterable接口，从字面意义来说，就是可以迭代的意思，可以理解为实现这个接口的集合类获得了迭代遍历的能力，同时它也是集合的顶级接口，Collection接口继承了它。
94520编辑于 2022-02-15 - 来自专栏HelloGitHub
第 6 篇：分页接口
config/common.py 配置文件，写入如下的分页配置： REST_FRAMEWORK = { # 设置 DEFAULT_PAGINATION_CLASS 后，将全局启用分页，所有 List 接口的返回结果都会被分页 # 如果想单独控制每个接口的分页情况，可不设置这个选项，而是在视图函数中进行配置 "DEFAULT_PAGINATION_CLASS": "rest_framework.pagination.PageNumberPagination
92520发布于 2021-05-14 从零到一：使用pycharm搭建API接口调用大模型
从零到一：使用pycharm搭建API接口调用大模型【前言】随着人工智能技术的快速发展，大语言模型（LLM）已成为许多应用场景的核心技术。 本文将详细介绍如何使用PyCharm开发环境搭建API接口调用大模型的完整流程，包括两种主流调用方式、模型列表查看方法，以及一个完整的求职岗位查询实战案例。 【任务】1.掌握使用OpenAI库和requests库调用大模型API的方法。2.学会查看和展示可用的大模型列表。3.实现基于大模型的求职岗位查询系统。4.掌握API调用的错误处理和结果展示技巧。 () 图4：获取模型列表表格形式代码示例三.通过pycharm调用API接口，实现大模型求职岗位查询第一步：准备工作在运行代码之前，请确保你的项目目录下有以下文件和配置。 if __name__ == "__main__": main()第三步：运行结果图5：程序运行结果展示图6：大模型返回岗位信息.xlxs文件四.掌握API调用的错误处理和结果展示技巧
1.7K21编辑于 2025-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号