- 综合排序
- 最热优先
- 最新优先
- 来自专栏锤子代码
Nginx反向代理大模型推理接口(SSE)
Nginx作用这么大？ 在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。 用普通的Nginx代理配置接口返回特别慢。 找了下原因，发现是代理配置有问题。 接口总算丝滑了。 http://192.168.0.105:228866 这个地址是你对应第三方AI大模型返回数据的接口。
1.1K10编辑于 2025-04-04 - 来自专栏blackheart的专栏
11-接口
接口与继承 CLR规定一个类型只能有一个基类型，这种继承成为单继承； 接口继承是指一个类型继承的是接口中的方法签名，而非方法实现，通常称为实现接口； 接口仅仅是含有一组虚方法的抽象类型，不含有任何实现。 C#语言就是如此，C#编译器不允许接口中有任何静态成员。 约定接口名称第一个字母是大写的I；接口可以多继承，实际上实现了多个接口的类型允许我们将它的对象看作这个接口中的任意一个。 值类型也可以实现接口，当我们把一个值类型实例转为接口类型时，会被装箱，因为接口总被认为是引用类型，并且它们的方法总是虚方法。 7 static void Main() 8 { 9 Location l = new Location(); 10 l.x = l.y = 6; 11 7 { 8 void Print(); 9 } 10 11 public class MyClass : IWindow, IConsole 12 { 13 void IWindow.Print
75190发布于 2018-01-19 - 来自专栏大模型应用
大模型应用：大模型的词元化处理详解：BPE、WordPiece、Unigram.11
引言 词元化（Tokenization）是大模型预处理的核心步骤，将连续文本切分为模型可理解的最小语义单元（Token），这些词元可以是单词、子词或字符。 11. 对新文本进行分词（使用最长匹配策略）。注意：在WordPiece中，通常使用一个语言模型来评估合并后的似然变化，但这里我们使用对数似然增益的公式作为合并标准。6. 生成候选Token（例如所有单字、双字、多字组合，或者通过其他方式生成一个大词表）3. 构建初始大词表4. 训练Unigram语言模型（即计算每个词元的概率）5. 删除困惑度上升最小的词元（即对模型影响最小的词元）8. 更新词表，并重新计算每个词元的概率（重新训练语言模型）9. 重复步骤5-8直到词表大小达标10. 生成最终词表11. 六、总结 词元化是大模型理解文本的基础预处理步骤，核心是将中文文本切分为有语义的最小单元（Token）。
65533编辑于 2026-02-08 - 来自专栏大模型应用
大模型应用：大模型的本地 API 服务：FastAPI 封装与接口鉴权.44
一、引言 大模型的里里外外我们都进行了很多细节的讲解，但大模型的部署引用还没有涉及太多，今天我们重点讲一下模型的接口发布，以及利用Postman工具的鉴权调试，Postman 是一款轻量、 让不同程序（比如 APP、网页）都能按统一规则跟大模型沟通，而且这个窗口响应快、还会自动生成使用说明。接口鉴权：给 "服务窗口" 装一把 "安全锁"。 核心作用：把大模型的 "推理功能"（比如文本生成、问答），包装成 "可网络调用的接口"。2.3 接口鉴权的核心目的身份验证：确认调用者是 "自己人"，不是恶意攻击者。 定义接口函数：写一个 Python 函数，接收用户请求，比如提示词，调用大模型生成结果，再返回给用户。 启动服务：用 Uvicorn（ASGI 服务器）运行应用，大模型就变成了可网络访问的 API 服务。3. 接口鉴权原理3.1 调用 API Key 鉴权的接口本质：验证 "调用者凭证" 的有效性。
48153编辑于 2026-03-13 - 来自专栏啄木鸟软件测试
接口测试第11讲：接口性能测试
http://mpvideo.qpic.cn/0bc3suacuaaal4ac2mjnqjrvbfodfkkqakqa.f10002.mp4?dis_k=9d8de6131f6e109088afb1e
87920编辑于 2022-12-29 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】函数调用 Function Calling ① ( 人机交互接口 与 应用程序编程接口 | 语言界面接口 | AI 大模型缺陷与补救措施 | 函数调用为大模型赋能 真逻辑 )
应用程序编程接口 发展问题 , 短时间内实现的可能性不大 ; 二、AI 大模型缺陷与补救措施 - 函数调用 Function Calling 引入 1、AI 大模型原理 GPT 大模型 ( Generative ; 根据现有提示词 , 后面生成每个词的概率中 , sat 的概率是 0.5 , 概率最大 , 则生成 sat 单词 ; 2、AI 大模型缺陷 AI 大模型有如下 缺陷 : 并非全知全能 : AI 大模型 上述 三种缺陷 , 因此 需要 有一种机制 , 使得 AI 大模型 需要 与 外部进行交互 , 为 AI 大模型 对接 各种接口 ; 特定领域的知识或消息 , 如 : 非公开信息等 ; 专业领域的接口 , 数据输入进去 , 跟炼丹一样 , 得到一个结果 , 不知道具体的推理步骤和过程 ; GPT 大模型 并没有 逻辑推理能力 ; 5、函数调用 Function Calling 为 大模型 赋能 " 解决各种具体的问题 ; 函数调用 Function Calling 就是 使用代码 实现的 " 真逻辑 " , 嵌入到 AI 大模型中 , 在 大模型 的 概率生成文本的 基础上 增加 确定性的 "
1.8K10编辑于 2024-07-14 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (11) 变形记
有一天，小H在吃完午饭回到办公室，旁边几位同学在打《王者荣耀》，并且在挑拨匹配到的一对情侣队友分手。
36210编辑于 2023-11-27 - 来自专栏mousemin
PSR-11 容器接口
PSR-11 容器接口 本文描述了依赖注入容器的通用接口。 设定 ContainerInterface 的目的是为了标准化框架或类库如何使用容器来获取对象和参数（本文其它部分称之为 实体 ）。 包 psr/container 包中提供了上面提到的接口和相关异常类。 实现 PSR 容器接口的包应该申明为 psr/container-implementation 1.0.0 包。 接口 Psr\Container\ContainerInterface 1<? 11 * 12 * @param string $id 查找的实体标识符字符串。 从 psr/container version 2.0 开始，上面的接口已经更新，添加了返回类型提示（但仅限于 has()方法）。
68730编辑于 2023-06-10 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.4K100发布于 2018-04-11 从零到一：使用pycharm搭建API接口调用大模型
从零到一：使用pycharm搭建API接口调用大模型【前言】随着人工智能技术的快速发展，大语言模型（LLM）已成为许多应用场景的核心技术。 本文将详细介绍如何使用PyCharm开发环境搭建API接口调用大模型的完整流程，包括两种主流调用方式、模型列表查看方法，以及一个完整的求职岗位查询实战案例。 【任务】1.掌握使用OpenAI库和requests库调用大模型API的方法。2.学会查看和展示可用的大模型列表。3.实现基于大模型的求职岗位查询系统。4.掌握API调用的错误处理和结果展示技巧。 By:不吃花椒的喵酱一.大模型调用大模型调用有两种方式，一种通过openai库进行调用，一种通过requests库进行调用。 () 图4：获取模型列表表格形式代码示例三.通过pycharm调用API接口，实现大模型求职岗位查询第一步：准备工作在运行代码之前，请确保你的项目目录下有以下文件和配置。
1.7K21编辑于 2025-12-23- 来自专栏测试开发干货
接口测试平台代码实现115:登录态接口-11
本节我们开始继续处理剩下的登陆态接口，关联小说可在之后另一个系列体验哦～ 目前省下的部分就是插入到url/header/body中，具体代码仍然可以通过仿造接口库普通接口的插入方式来做， 怎么样 最后的这段代码是不是超级简单～ 本节完毕，下一节我们要开始特殊的章节，就是对目前的几处接口请求代码进行优化，异常处理等 ，因为是底层核心引擎，所以有空我们就要给他提高稳定性，容错性，易分析性等
40330编辑于 2022-05-19 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
78101编辑于 2024-12-30 - 来自专栏AIOT
在Jetson上玩转大模型Day11：SAM2应用
见面文章中提到Google研究院所提出的ViT（Vision Transofmers）技术，将机器视觉与大语言模型结合成多模态的应用，为机器视觉领域开创新的纪元，于是在这个基础之上又发展出许多新的技术， 该模型也可以根据用户具体诉求，选择分割某个物体或某个区域，使控制更加精准。 该模型首先将图像转换为图像嵌入，从而允许从提示中高效地生成高质量的掩模。为模型提供了一个简单的接口用于提示模型，允许用户首先使用set_image方法设置图像，该方法计算必要的图像嵌入。 该模型可以将点和框提示以及之前预测迭代的掩码作为输入。 在帧上添加点击（或框）以获取和细化掩码（时空掩码） 在整个视频中传播点击（或框）以获得掩码 同时分割和跟踪多个目标 現在就可以開始好好跟隨每個ipynb裏面所提供的指示，開始輕鬆學習SAM2有趣並且強大的功能
93710编辑于 2024-11-08 - 来自专栏机器之心
IDC最新报告，7大维度11家大模型厂商比拼，唯一全优是谁？
近日，全球领先的国际数据公司（IDC） 最新发布的大模型实测报告《中国大模型市场主流产品评估，2024》从基础能力到应用能力 7 大维度对 11 家大模型厂商的 16 款市场主流产品进行实测。 在 IDC 列出的厂商里，有很多我们熟悉的公司，国外厂商如 OpenAI；国内厂商包括阿里、商汤、科大讯飞、百川、智谱、昆仑万维等 11 家大模型厂商的 16 款产品参与了本次评估。 基于上述两方面的设计，文心大模型已经发展出基础模型应用、智能体模式应用、多模态应用等多种创新应用模式，真正地把大模型能力转化成了生产力的提升。 例如在行业落地上，百度智能云推出千帆大模型平台，以一站式企业级大模型开发及服务运行平台服务大众。 一直到这波大模型浪潮，百度率先推出国产大模型产品，并不断迭代技术、推进落地应用。而经过一年半的「百模大战」，大模型进入了拼落地应用的阶段。
97210编辑于 2024-06-17 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 - 来自专栏AIGC大模型应用
AI大模型企业应用实战(11)-Document Loader文件加载器机制
0 前言 loader机制让大模型具备实时学习的能力： 1 加载markdown 准备一个 md 文件： # 使用loader来加载markdown文本 from langchain_community.document_loaders
50400编辑于 2026-04-25 - 来自专栏测试开发干货
接口测试平台代码实现71: 多接口用例-11
其实大部分代码仍然是去接口库保存接口的js函数中复制粘贴，然后改改： 这段代码改动很大，所有的ts_都换成了step_ 而且api也换成了step。为避免出错。 close_right_div(which) { if(which == "save"){ // 这里写保存的脚本代码 // 获取所有接口设置数据 document.getElementById('step_index').value; // 判断顶部的数据是否填充完 if(name == ''){alert('请输入接口名字 } var step_id = document.getElementById('step_id').innerText ; //获取到了接口
70230编辑于 2022-05-19 评测腾讯混元大模型，python调用混元生文接口
想丰富腾讯混元python sdk 调用混元大模型的实例。下面介绍python实现混元生文接口ChatCompletions实例。 975098478c96","Usage":{"PromptTokens":40,"CompletionTokens":1,"TotalTokens":41}}好的例子二：hunyuan-functioncall模型如何用流式方式调用接口 例子三：hunyuan-functioncall模型多轮对话如何调用接口，调用工具import jsonimport osfrom tencentcloud.common import credentialfrom 示例三多轮问答中调用查询天气工具时，混元大模型回答的有问题。 工具查询的天气情况是：北京今天的天气情况如下：温度：35℃风向：西南风天气状况：暴雨深圳今天的天气情况如下：温度：20℃风向：西北风天气状况：晴大模型回答的结果是：北京今天的天气情况如下：温度：35℃风向
1.5K20编辑于 2024-09-13- 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 大模型的模型发展如下图 涌现 参考：大模型中的涌现 什么是涌现？先从蚂蚁开始说起。蚂蚁是自然界中一种个体非常简单，但是群体能力非常强大的生物。 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？
1.8K11编辑于 2024-01-04 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。 为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 训练三步骤 初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。
21.2K29编辑于 2023-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号