- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI大模型
2026大模型API中转指南：工具推荐、聚合平台对比与企业级网关构建全解析
大模型API中转架构图，展示客户端通过统一API网关路由到OpenAI、Claude及国产大模型，包含计费与风控模块大模型API中转（LLMAPIRelay）是一种专为生成式AI应用设计的中间件架构，旨在通过统一的 •社区背书：该项目在GitHub上拥有极高的Star数，并被多所高校（如北京大学相关实验室）及科研机构用作内部模型分发平台，证明了其在高负载环境下的可靠性。 2.OpenRouter：全球模型的极速聚合器OpenRouter是典型的聚合服务商代表，它通过单一接口聚合了Llama3,Claude3.5,Mistral等开源与闭源模型。 对个人开发者，OpenRouter、灵芽API等聚合平台提供了最便捷的尝试路径；而对于追求数据主权与长期成本优化的企业，基于NewAPI进行私有化部署，构建一套集成了计费、风控与路由分发的内部网关，是目前实现 常见问题(FAQ)Q1:什么是大模型API中转？
6.1K20编辑于 2026-02-28 建设大模型训练排障平台：
建设大模型训练排障平台是提升训练效率、降低运维成本、保障研发进度的关键基础设施。 以下是构建这样一个平台的系统化方案：一、核心建设目标故障快速定位：分钟级定位硬件/软件/算法故障根源训练过程透明化：实时监控千卡级集群训练状态智能预警：提前发现潜在故障风险（如梯度异常）知识沉淀：构建可复用的排障知识库二 、平台核心模块设计1.
22810编辑于 2025-08-15- 来自专栏token的技术分享
从0开始搭建免费大模型平台
下面我们讲解从0开始搭建我们的免费大模型管理平台，接入其他的免费大模型，然后加入到我们自己的平台当中，然后进行监控和管理。 部署大模型管理平台 下面我们将在拥有docker的环境下部署我们的大模型管理平台。 打开我们的服务器。 ，创建完成以后得到密钥， 添加模型渠道 下面我们打开大模型管理平台，然后进入渠道菜单，然后点击右上角的操作展开的创建渠道 渠道名称 测试模型 渠道类型腾讯混元大模型 代理地址 空 资源地域 （看个人情况定 根据上面的测试，我们给我们的平台接入了腾讯大模型的免费模型hunyuan-lite 然后我们试试看用semantic-kernel进行对话操作。 https://api.token-ai.cn/创建的令牌", httpClient: new HttpClient(new OpenAIHttpClientHandler("复制您的大模型平台的地址
95310编辑于 2024-06-18 - 来自专栏计算机工具
联邦学习中的模型聚合
联邦学习中的模型聚合 在联邦学习的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同，从而使各任务节点学习到不同的模型，且每个任务节点以及全局(global)的模型都由多个分量模型集成 该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信，依据模型聚合方式的不同，可以将模型采用的算法分为client-server方法，和fully decentralized(完全去中心化 )的方法 因为有多种任务聚合器(Aggregator)要实现，采取的措施是先实现Aggregator抽象基类，实现好一些通用方法，并规定好抽象方法的接口，然后具体的任务聚合类继承抽象基类，然后做具体的实现 我们先来看任务聚合器(Aggregator)这一抽象基类 class Aggregator(ABC): r"""Aggregator的基类. 最终得到一个clients子集列表并赋予self.sampled_clients """ 1.client-server 算法 这种方式的通信/聚合方法也称中心化(centralized
83210编辑于 2024-12-14 - 来自专栏得物技术
得物大模型平台，业务效果提升实践
一、背景 得物大模型训练与推理平台上线几个月后，我们与公司内部超过 10 个业务领域展开了全面的合作。 本文基于我们与业务合作的经验，将分享如何在大模型平台上实现业务效果指标提升。我们将以大模型平台上从训练到推理部署的全链路流程为基础，提供优化思路，最终达成业务效果指标的提升。 这些流程包括大模型选择、数据准备、大模型训练、效果评估和推理部署。 我们期望更多的业务方能与大模型平台合作，以实现业务效果的提升。 一旦选择了大模型，您也可以在大模型平台上重新运行评分以便进行进一步验证。 对于专业领域，如法务、医疗和编程等，您需要关注领域专用的大模型。 训练的过程 如何开启训练 在大模型平台上，用户可以按照以下步骤迅速启动大模型训练并进行自动部署： 选择大模型。基于之前提到的大模型选择原则，在大模型平台上选择您需要的大模型。 上传训练数据。
72510编辑于 2023-12-27 - 来自专栏腾讯云网络专家服务
浅谈大模型训练排障平台的建设
同时，大模型训练所带来的各种工程化问题也接踵而至。大模型训练通常涉及大量的参数、巨大的计算需求和复杂的网络结构，这使得整个训练过程变得极其复杂。 本文将专注于大模型训练的故障的定位，尝试提供一些解决思路和方法，希望能为读者带来一些帮助和启示。分布式训练简介在介绍大规模模型训练的方法之前，我们首先需要了解模型训练的基本过程。 排障平台建设思路在集群规模较小的情况下，上述问题定位和处理思路在一定程度上可以发挥作用。然而，随着模型参数量的增加和训练复杂性的提高，所需的集群规模会越来越大。 疑难杂症的处理思路在大模型训练中，故障根因错综复杂，一些应用层和集合通信的故障，目前尚不能使用指标完全覆盖检测，需要我们静下来心来深入分析，一步步挖掘真相。 总结本文概括性地介绍了大型模型训练中遇到的问题分类、基本排查方法以及排障工具平台构建的基本思路。
3.2K364编辑于 2023-11-17 大模型托管平台用户操作手册
大模型托管平台用户操作手册的简要说明： 注册和登录：首先，用户需要注册一个账号，提供必要的个人信息，并选择一个用户名和密码。然后，用户可以使用注册的用户名和密码登录到平台。 部署模型：训练完成后，用户可以选择将模型部署到平台上。用户需要指定模型的输入和输出接口，并设置模型的运行环境（例如CPU、GPU等）。平台会为用户自动创建模型的API，并提供相应的调用地址。 测试和评估：用户可以使用平台提供的测试工具对部署的模型进行测试和评估。用户可以输入测试数据，调用模型API，并获取模型的输出结果。用户还可以使用平台提供的评估指标对模型进行评估和比较。 在获取到模型的输出结果之后，可以根据具体需求进行模型的评估和比较。根据模型的任务类型和性能指标，也可以使用平台提供的评估指标对模型的性能进行评估和比较。 以上是用户操作手册的简要说明，具体的操作步骤和案例分析可以根据平台的具体实现和用户需求进行调整。 由于大模型托管平台功能较为复杂，涉及到前端、后端和数据库等多个方面的开发。
32610编辑于 2025-08-29一键调用全球大模型！揭秘 AI 聚合服务的技术跃迁密码
AI 大模型聚合服务技术解析在 AI 大模型生态体系中，聚合服务平台承担着关键的枢纽角色。 以 POLOAPI 为代表的 AI 大模型聚合服务商，通过标准化接口实现对 Claude、OpenAI、Gemini、Grok、DeepSeek 等海内外主流大模型 API 的统一调用管理，为开发者构建高效稳定的 聚合服务平台核心架构聚合服务平台本质上是智能 API 代理系统，其核心架构包含以下层次化模块：协议转换层：将 OpenAI 兼容格式请求自动适配为各目标 API 原生协议智能路由引擎：基于实时负载、成本效益等多维度算法动态分配请求安全隔离系统 统一接入规范通过标准化接口设计，开发者仅需调整model参数即可切换不同大模型服务，例如调用 Gemini 视觉模型与 OpenAI 模型采用相同请求结构：2. 随着 AI 技术生态的持续演进，POLOAPI 等聚合服务平台将在多模型协同、智能优化等领域持续创新，为开发者提供更高效的 AI 开发基础设施。
93610编辑于 2025-05-13- 来自专栏修己xj
NewsNow:开源个性化新闻聚合平台
有没有和我一样，习惯先打开知乎、百度热搜、微博等新闻平台，浏览一下当天的头条新闻？每天都要逐个点开这些网站，再挑选感兴趣的新闻深入阅读，确实有些繁琐。 今天在浏览GitHub时，我发现了一个名为NewsNow的项目，这是一款能够优雅地阅读实时热门新闻的聚合平台。接下来，我将为大家详细介绍这个项目，并分享如何进行私有化部署。 项目介绍这是一款TypeScript编写的实时热门新闻聚合项目，有以下特性优雅的设计，优雅的阅读体验，时刻关注最新最热的新闻。支持 Github 登录，支持数据同步。 ourongxing/newsnow站点地址：https://newsnow.busiyi.world/该项目在github上已经拥有4.5k star项目部署此项目可以本地启动、docker部署及其它平台部署 总结NewsNow是一个功能强大且易于上手的新闻聚合项目，通过简单的部署步骤，你就可以拥有一个属于自己的个性化新闻聚合平台。
1.5K00编辑于 2025-03-12 - 来自专栏修己xj
NewsNow:开源个性化新闻聚合平台
有没有和我一样，习惯先打开知乎、百度热搜、微博等新闻平台，浏览一下当天的头条新闻？每天都要逐个点开这些网站，再挑选感兴趣的新闻深入阅读，确实有些繁琐。 今天在浏览GitHub时，我发现了一个名为NewsNow的项目，这是一款能够优雅地阅读实时热门新闻的聚合平台。接下来，我将为大家详细介绍这个项目，并分享如何进行私有化部署。 项目介绍 这是一款TypeScript编写的实时热门新闻聚合项目，有以下特性 • 优雅的设计，优雅的阅读体验，时刻关注最新最热的新闻。 • 支持 Github 登录，支持数据同步。 newsnow.busiyi.world/ 该项目在github上已经拥有4.5k star Google_Chrome_AIDpGYenDp.png 项目部署 此项目可以本地启动、docker部署及其它平台部署 总结 NewsNow是一个功能强大且易于上手的新闻聚合项目，通过简单的部署步骤，你就可以拥有一个属于自己的个性化新闻聚合平台。
1.3K00编辑于 2025-03-13 - 来自专栏开源技术小栈
PHP快速入门开源大模型平台魔塔ModelScope
ModelScope 旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！ ModelScope平台将以开源的方式提供多类优质模型，开发者可在平台上免费体验与下载使用。 环境安装 环境配置 操作系统：Linux 多环境切换：Anaconda Python版本：3.10 深度学习框架：Pytorch 计算平台：CPU Anaconda 安装 Anaconda 是一个开源的 如果只需要ModelScope模型和数据集访问等基础能力，可以只安装ModelScope的核心框架： pip3 install modelscope 但如果需要进一步具体使用ModelScope平台上承载的 ，包括多模态，NLP，CV，语音等不同领域的模型，来进行模型推理以及模型训练、微调等能力，则需要安装各个领域上不同的依赖。
1.6K10编辑于 2024-01-23 〔从零搭建〕大模型应用开发平台部署指南
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 文章内容主要为以下五部分: 一、在线演示环境 二、功能简介 三、源码编译部署安装 四、访问大模型应用开发平台页面 五、核心部署 AllData数据中台线上正式环境：http://43.138.156.44 :5173/ui_moat/ 请联系市场总监获取账号密码 一、大模型应用开发平台基于开源项目BISHENG建设 AllData数据中台商业版集成BISHENG开源项目为大模型应用平台，BISHENG github.com/dataelement/bisheng BISHENG官方文档：https://dataelem.feishu.cn/wiki/V7jewstK1iHsuukMgjJckPzNnNb 二、大模型应用开发平台功能技术特性 三、大模型应用开发平台功能特点： 企业级高可用架构 高并发与分布式部署 安全合规与权限控制 高精度文档解析与检索 灵活的模型管理与优化 低代码开发与快速落地 技术生态与扩展型 部署步骤： 一、环境准备
85110编辑于 2025-09-15- 来自专栏网站漏洞修补
聚合支付结算平台漏洞的渗透测试
2020春节即将来临,收到新聚合支付平台网站客户的求助电话给我们Sinesafe,反映支付订单状态被修改由原先未支付修改为已支付,导致商户那边直接发货给此订单会员了,商户和平台的损失较大，很多码商都不敢用此支付平台了 ，为了防止聚合支付系统继续被攻击，我们SINE安全大体情况了解后，立即安排从业十年的安全工程师，成立聚合、通道支付平台安全应急响应小组。 分析并了解支付过程 我们Sinesafe对整个第三方支付平台网站的流程进行了分析如下,平台首先要对接到上游支付通道,然后由上游支付通道返回支付状态回调到平台，然后由平台的状态返回给商户（也就是码商），首先码商注册好平台的商家用户 ,然后从商家用户后台获取接口对接程序与码商自己的网站进行对接调试，如果商家会员对订单进行了支付,如果支付成功会回从平台获取支付状态,而平台去从上游通道获取状态来回调到自身平台,目前大部分的接口都是一些PDD 通道以及个人二维码对接的企业通道，俗称为聚合支付。
5.7K00发布于 2020-01-22 AI大模型教学平台：开启智能教育新时代
本文结合腾讯云AI与教育技术栈，详解AI大模型教学平台的技术架构、核心能力实现及校园落地案例，为教育领域智能化升级提供可复用的技术方案。 一、系统技术架构：教育级大模型应用体系AI大模型教学平台采用“大模型+教育知识图谱+场景化应用”的三层架构，基于腾讯云混元大模型生态构建，严格遵循《教育数据安全规范》，实现教学数据安全可控与服务高并发支撑 引擎层：大模型与教育能力融合依托腾讯云混元大模型，构建教育专属智能引擎：大模型精调：采用“预训练+有监督微调+RLHF”流程，使用500万+标注教育数据（教案、习题、答疑记录）对混元大模型进行微调，构建教育专属大模型 、学习效果数据，为教育决策提供支撑，管理决策响应时间缩短50%二、核心技术难点与腾讯云解决方案平台落地需突破“大模型教育内容可控性”“个性化路径精准度”“高并发场景支撑”三大技术挑战，腾讯云提供针对性方案 四、技术选型总结与未来展望系统核心技术选型围绕教育场景需求，优先选用腾讯云安全、高效的产品服务：技术模块 | 腾讯云产品 | 核心价值大模型精调 | 混元大模型平台 | 教育场景适配性强，知识问答准确率高数据安全
84600编辑于 2025-10-16- 来自专栏凹凸玩数据
各项工具大pk，分组聚合哪家强？
凹凸们，大家好 先看一个小需求，其实是很常见的分组聚合问题。 ? 今天我将带大家分别使用MySQL、Excel、Pandas、VBA和Python来实现这个需求。 这么齐全的应该算是全网首发吧！ 当然也是为了让大家对分组聚合代码层面的实现能够更加熟悉。 ? dtype='int8') result 结果： A区 B区 C区 2019/1/1 1 1 1 2019/1/2 1 1 1 2019/1/3 1 0 1 总结 其实不管用什么语言和工具，分组聚合统计的核心原理都是 今天我给大家同时演示了MySQL、Excel、Pandas、VBA和Python实现分组聚合，通过对比，或许大家能自己总结出各项工具的优劣和适用场景。
98920发布于 2021-01-20 - 来自专栏DevOps
AIGC：大语言模型开放平台OpenLLM简介（提供简易的模型部署体验）
简介 该项目旨在为各种大语言模型（LLM）在生产环境中的部署和可观测性提供一个标准的解决方案，用最简单直接的方式把大语言模型（LLM）部署到云端或本地，并且可以放心地用于生产环境中，此外还提供了进一步的能力来让用户更加方便地基于大语言模型 OpenLLM是一个用于在生产环境中操作大型语言模型（LLM）的开放平台，它可以轻松地微调、服务、部署和监控任何LLM。 **SOTA LLM：**内置支持广泛的开源大语言模型（LLM）和模型运行时，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。 **自由构建：**对 LangChain 和 BentoML 的一流支持使您可以通过将大语言模型（LLM）与其他模型和服务组合来轻松创建自己的 AI 应用程序。 **Bring your own LLM：**使用 LLM.tuning() 微调任何大语言模型（LLM）以满足您的需求。
1.5K10编辑于 2024-03-29 - 来自专栏红蓝对抗
神兵利器|网络资产测绘平台聚合工具（AsamF）
工具简介： AsamF是一款集成多个网络资产测绘平台的搜索工具 AsamF，Asset survey and mapping 本程序仅供学习研究使用，请勿利用本程序损害任何个人或企业的利益，造成一切影响 请勿滥用本程序，使用本程序将默认遵守各个平台方的所有条款。 功能简介: V0.1.4版本更新 由于更新了配置文件，需要重新生成配置文件。否则子域名收集的部分功能会缺失。 本程序可以单独使用上述平台，也可以同时调用4个平台，因为4个平台的语法格式不同，因此调用4个平台聚合搜索的选项不支持语法组合使用，也不是所有的选项均支持4个平台，-h有说明。 这几个选项会聚合平台来搜索。 hunter不支持 -fofahost 主机搜索 -fofatotal 聚合功能 -zoomeyehost -zoomeyeweb -zoomeyedomain 自行研究吧...
2.8K30编辑于 2022-12-22 - 来自专栏数据猿
大模型+指标平台，Kyligence帮助企业重塑决策智能体系
数据分析场景下的大模型能力评测框架 对于引入大模型的数据分析产品，大模型本身的能力，将很大程度上决定对应数据分析产品的性能。因此，在介绍指标数据分析之前，有必要对大模型本身的能力进行详细的评估。 在这方面，Kyligence近期推出的大模型能力评测框架，是一个有益的探索。 需要指出的是，在数据分析场景与通用场景下评测大模型的能力时，存在显著差异。 Kyligence Copilot，一次将大模型引入指标平台的全新探索 讲完大模型，我们再来看看基于大模型所改造的指标平台。 大模型不仅仅是一个新增功能，改变的将是整个人机交互逻辑 需要指出的是，大模型与指标平台的融合发展之路，才刚刚开始，我们还有很长的路要走。 目前大部分产品，都只是将大模型作为一项新增AI能力接入进来，对其原有的产品界面、系统结构、业务逻辑改变不大，这只是大模型与指标平台这类业务系统结合的早期形态。
55010编辑于 2023-11-24 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
76201编辑于 2024-12-30 - 来自专栏AIGC
【LLMOps】Paka:新一代大模型应用管理平台
toc简介paka 是一种多功能的 LLMOps 工具，只需一个命令即可简化大型语言模型 （LLM） 应用的部署和管理。 优化模型执行：paka 专为提高效率而设计，可在 CPU 和 Nvidia GPU 上运行 LLM 模型，确保最佳性能。根据 CPU 使用率、请求速率和延迟自动扩展模型副本。 每个模型都在单独的模型组中运行。每个模型组都可以有自己的节点类型、副本和自动缩放策略。2.无服务化容器 ： 使用 knative 将应用程序部署为无服务器容器。 --entrypoint serve5.销毁集群paka cluster down -f cluster.yaml小节本节我们介绍了paka以及paka的使用，Paka 使用单命令方法简化了大型语言模型 （LLM） 应用程序的部署和管理，为大语言模型的开发和部署，管理提供了更好的管理方式，本节只对paka作了简单介绍，后面我们会逐步深入学习。
61410编辑于 2024-04-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号