- 综合排序
- 最热优先
- 最新优先
- 来自专栏锤子代码
Nginx反向代理大模型推理接口(SSE)
Nginx作用这么大？ 在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。 用普通的Nginx代理配置接口返回特别慢。 找了下原因，发现是代理配置有问题。 接口总算丝滑了。 http://192.168.0.105:228866 这个地址是你对应第三方AI大模型返回数据的接口。
1.1K10编辑于 2025-04-04 - 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
78120编辑于 2023-08-28 - 来自专栏大模型应用
大模型应用：大模型的本地 API 服务：FastAPI 封装与接口鉴权.44
一、引言 大模型的里里外外我们都进行了很多细节的讲解，但大模型的部署引用还没有涉及太多，今天我们重点讲一下模型的接口发布，以及利用Postman工具的鉴权调试，Postman 是一款轻量、 只允许有钥匙的人调用，防止陌生人随便用、滥用大模型资源。2. 大模型本地运行原理前提：本地设备（电脑/服务器）已安装大模型，如 Llama 2、Qwen 等开源模型，并能通过 Python 脚本运行。 单例模式：确保整个应用中只存在一个模型实例，减少内存占用2. FastAPI 封装原理加载大模型：启动服务时，把大模型加载到内存，避免每次调用都重新加载，提速。 定义接口函数：写一个 Python 函数，接收用户请求，比如提示词，调用大模型生成结果，再返回给用户。
48153编辑于 2026-03-13 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
79310编辑于 2025-06-27 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型，作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
1.1K00编辑于 2025-07-01 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】函数调用 Function Calling ① ( 人机交互接口 与 应用程序编程接口 | 语言界面接口 | AI 大模型缺陷与补救措施 | 函数调用为大模型赋能 真逻辑 )
的规定 , 来调用 计算机系统 中的另外一个应用程序 提供的服务 ; 应用程序 之间 是不知道另外一个 应用程序 的实现机制的 , 需要 事先约定 如何提供服务 , 如何进行调用服务 ; 2、人机交互口的发展 应用程序编程接口 发展问题 , 短时间内实现的可能性不大 ; 二、AI 大模型缺陷与补救措施 - 函数调用 Function Calling 引入 1、AI 大模型原理 GPT 大模型 ( Generative ; 根据现有提示词 , 后面生成每个词的概率中 , sat 的概率是 0.5 , 概率最大 , 则生成 sat 单词 ; 2、AI 大模型缺陷 AI 大模型有如下 缺陷 : 并非全知全能 : AI 大模型 上述 三种缺陷 , 因此 需要 有一种机制 , 使得 AI 大模型 需要 与 外部进行交互 , 为 AI 大模型 对接 各种接口 ; 特定领域的知识或消息 , 如 : 非公开信息等 ; 专业领域的接口 , 数据输入进去 , 跟炼丹一样 , 得到一个结果 , 不知道具体的推理步骤和过程 ; GPT 大模型 并没有 逻辑推理能力 ; 5、函数调用 Function Calling 为 大模型 赋能 "
1.8K10编辑于 2024-07-14 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(2)
(2)是否包含编码器的输出作为输入 在原始 Transformer 模型的基础上，在自然语言处理领域中逐渐衍生出以下3 种方式来构建预训练语言模型。 (2)只包含解码器的预训练语言模型，比如 ChatGPT。 (3)编码器和解码器都包括预训练语言模型，比如 BART。 2）指令数据集通过指令的形式指导模型的生成，能够提高预训练语言模型的泛化能力，使其在之前未做过的任务中能够表现出优秀的零样本推理能力。 (2)信息提取能力弱。 (3)并行计算能力差。 (4)领域迁移能力弱。 GPT-1 将模型的训练分为两个阶段: 第一个阶段通过大批量无标签文本数据构建一个初始的生成式语言模型。 总结 大模型被广泛应用有以下几个前提 ·效果好 ·效率高 ·成本可控 目前，大模型在这几个方面还不够理想。
55710编辑于 2024-09-10 - 来自专栏云原生技术社区
大模型时代已来，Meta发布LLaMA 2
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。 关于LLaMA 2 Meta LLaMA 是一款由Meta公司开发的开源超大规模语言模型。一直以来，LLaMA 系列模型在AI社区内被誉为最强大的开源大模型之一。 相较于之前的版本，LLaMA 2在效果上有了显著提升，甚至可以接近GPT-4的水平。LLaMA 2发布了不同体量的模型，以满足不同的硬件部署成本，为企业提供了更多选择和灵活性。 AML全面支持LLaMA 2推理和微调 灵雀云AML现已全面支持Meta LLaMA 2全系列模型在平台上进行推理和微调，包括70亿参数、130亿参数和700亿参数版本。 相比于直接使用开源模型，企业通过采用AML，可以获得更多优势： ● 一键私有化模型发布 企业可以轻松将训练好的LLaMA 2模型一键发布为私有化API，保护数据安全。
50310编辑于 2023-08-09 从零到一：使用pycharm搭建API接口调用大模型
从零到一：使用pycharm搭建API接口调用大模型【前言】随着人工智能技术的快速发展，大语言模型（LLM）已成为许多应用场景的核心技术。 本文将详细介绍如何使用PyCharm开发环境搭建API接口调用大模型的完整流程，包括两种主流调用方式、模型列表查看方法，以及一个完整的求职岗位查询实战案例。 【任务】1.掌握使用OpenAI库和requests库调用大模型API的方法。2.学会查看和展示可用的大模型列表。3.实现基于大模型的求职岗位查询系统。4.掌握API调用的错误处理和结果展示技巧。 By:不吃花椒的喵酱一.大模型调用大模型调用有两种方式，一种通过openai库进行调用，一种通过requests库进行调用。 () 图4：获取模型列表表格形式代码示例三.通过pycharm调用API接口，实现大模型求职岗位查询第一步：准备工作在运行代码之前，请确保你的项目目录下有以下文件和配置。
1.7K21编辑于 2025-12-23- 来自专栏自学测试之道
接口测试2
= '裤子女夏' - 裤子男夏季 + 裤子女夏 ---------------------------------------------------------------------- Ran 2 Login("test_longin")) runner = unittest.TextTestRunner() runner.run(suite) interface_post_test2. /usr/bin/env python # -*- coding: utf-8 -*- # @File Name: interface_post_test2.py # @Time : 2019/8 ===================================================== FAIL: test_login (testcase.interface_post_test2. = '裤子女夏' - 裤子男夏季 + 裤子女夏 ---------------------------------------------------------------------- Ran 2
70520发布于 2019-09-29 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
78101编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏大模型应用
大模型应用：大模型本地部署实战：从零构建可视化智能学习助手.2
topic: str) -> Dict: """学习示例生成方法""" # 实现结构化内容生成我们首先需要明确LocalLearningAssistant类的核心作用：它负责加载大模型 with gr.Blocks(theme=gr.themes.Soft()) as demo: # 标题区域 gr.Markdown("# 大模型本地部署 编程助手2. 科学助手3. 数学助手4. 学习助手五、总结 这个项目成功实现了在消费级硬件上部署智能学习助手，基于Qwen1.5-1.8B大模型在CPU环境稳定运行。 核心突破在于将复杂的AI技术简化为易用接口，通过精心优化的参数配置在有限资源下实现实用性能。系统具备智能对话、多学科问答、学习示例生成等教育功能，Gradio界面提供友好的分类提问和上下文对话体验。 with gr.Blocks(theme=gr.themes.Soft(), title="本地AI学习助手") as demo: gr.Markdown("# 大模型本地部署
29632编辑于 2026-01-30 - 来自专栏一臻AI
人人都会AI｜人工智能大模型现状（2）
对于大模型的核心特征，可以概括如下： 训练数据的海量积累是大模型的基石 ChatGPT的训练数据囊括了互联网75%的网站爬虫数据，再加上海量的百科全书、出版物等优质资源，累计词量突破二十万亿个。 涌现能力是大模型最神奇的特质 当模型规模达到一定门槛，它会突然展现出令人惊叹的能力跃升。 这就好比婴儿学步，从蹒跚学步到灵活奔跑，往往只需要一个临界点的突破。 在大模型中，这种跃升表现为语言理解、逻辑推理等能力的质的飞跃。 plt.legend() plt.grid(True) # Add annotations for model versions models = ['GPT-1', 'GPT-2' AI大模型的应用与挑战 大模型在实际应用中展现出惊人的创造力。深度学习模型AlexNet开启图像识别新纪元，如今已发展出更广泛的应用场景。
26110编辑于 2025-03-06 评测腾讯混元大模型，python调用混元生文接口
想丰富腾讯混元python sdk 调用混元大模型的实例。下面介绍python实现混元生文接口ChatCompletions实例。 975098478c96","Usage":{"PromptTokens":40,"CompletionTokens":1,"TotalTokens":41}}好的例子二：hunyuan-functioncall模型如何用流式方式调用接口 例子三：hunyuan-functioncall模型多轮对话如何调用接口，调用工具import jsonimport osfrom tencentcloud.common import credentialfrom 示例三多轮问答中调用查询天气工具时，混元大模型回答的有问题。 工具查询的天气情况是：北京今天的天气情况如下：温度：35℃风向：西南风天气状况：暴雨深圳今天的天气情况如下：温度：20℃风向：西北风天气状况：晴大模型回答的结果是：北京今天的天气情况如下：温度：35℃风向
1.5K20编辑于 2024-09-13- 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
1.8K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
，例如BERT，RoBERT，ALBERT等 2）Encoder-Decoder，既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来 2、 指令微调阶段（Instruction Tuning Stage） 在完成预训练后，就可以通过指令微调去挖掘和增强语言模型本身具备的能力，这步也是很多企业以及科研研究人员利用大模型的重要步骤。 Step 2.训练奖励模型 这个过程涉及到与人类评估者进行对话，并根据他们的反馈来进行调整和优化。评估者会根据个人偏好对模型生成的回复进行排序，从而指导模型生成更符合人类期望的回复。 2）教育知识类产品：得益于大模型强大的理解以及知识储备，很多公司也嵌入其知识类产品进行应用，比如chatPDF就可以帮助经常看论文的科研人员快速地通过问答的方式进行文章的信息提取，理解以及总结重要内容， 2.成本高昂：大模型的训练和部署需要大量的计算资源和人力资源，成本非常高昂。对于一些中小型企业而言，难以承担这些成本，也难以获得足够的技术支持和资源。
21.2K29编辑于 2023-11-22 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（八）：大模型微调之LoraConfig
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 你可以直接使用一个框架训练你的模型然后用另一个加载和推理。 LoRA是一种用于微调大型语言模型的轻量级方法，它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整，从而在不显著增加模型大小的情况下提升特定任务的性能。 2.3 代码示例 这是一段LoraConfig配置Qwen2的代码，指定模型中的"q_proj"、"v_proj"等层应用LoRA，了解具体有哪些层，可以通过print(model)查看。 get_peft_model(model, config) print_trainable_parameters(model) 三、总结 本文简要介绍LoraConfig的配置参数情况，具体的机遇peft对大模型进行微调后面单独开一页详细讲解
96410编辑于 2024-08-13 - 来自专栏FreeBuf
AI-Gateway：一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口
关于AI-Gateway AI-Gateway是一款针对大语言模型的统一API接口，该接口可以用在应用程序和托管的大语言模型（LLM）之间，该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI 、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。 功能特性 1、功能非常快，体积非常小； 2、跨多模型和提供商实现负载均衡； 3、支持回退以确保应用程序保持弹性； 4、默认配置下，支持自动重试； 5、可根据需要安装中间件； 6、支持多种大语言模型； 支持的
2.1K10编辑于 2024-02-26 - 来自专栏大模型成长之路
【大模型学习 | BLIP2 跌倒检测项目实战（一）】
BLIP2 跌倒项目实战（一）在学习完BLIP,BLIP2模型原理后，如何应用于工业开发至关重要。 ；可以根据需求调整预训练模型；目前LAVIS只支持flant5xl 、flant5xxlpretrain_opt2.7b : decoder-only 模型；自定义一个python文件：from lavis.models import load_model_and_preprocessimport gradio as grimport torch# 加载 BLIP-2 模型（注意：用的是 Flan-T5 Base）device 回答："yes" / "No" 但是目前模型的回答是关于整段话的描述，无论怎么改提示词都没用 为此，构建一份新的数据集微调模型至关重要。 batch_size_eval: 2 num_workers: 4 warmup_steps: 2000 seed: 42 output_dir: "output/BLIP2/Pretrain_stage2
1K11编辑于 2025-07-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号