- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI
AI 语音大模型的调用
AI 语音大模型（AILM）通常作为云服务 API 提供给开发者，这使得我们无需部署昂贵的硬件，就能在应用程序中集成高性能的语音功能。调用过程涵盖了身份认证、数据传输和参数配置等关键环节。1. 核心调用流程与模型选择调用 AILM API 的基本流程可以概括为：认证 → 数据输入 → 参数配置 → 接收输出。2. 2.2 实时语音转文本（ASR）的调用ASR 服务通常提供流式 API 和批处理 API 两种调用方式。流式调用（Streaming ASR）： 适用于实时语音输入（如语音聊天、实时字幕）。 phrase_hints 或 context_boost: 提供专有名词、行业术语或人名列表，帮助模型提高对特定词汇的识别准确率。 通过遵循这些步骤和最佳实践，您可以高效且安全地将 AI 语音大模型的功能集成到您的应用程序中。
67210编辑于 2025-09-29 - 来自专栏go
go调用腾讯混元大模型
go-easy-llm 点击 github go-easy-llm 查看更多 一个满足你的调用多种大模型API的轮子，支持目前市面多家第三方大模型，包含ChatGPT、通义千问、文心大模型、混元、盘古、 百川智能等； 一套写法兼容所有平台，简单配置即可灵活使用第三方大模型API。 简单几步即可使用第三方大模型API 混元大模型调用 创建密钥 点击我 进行密钥创建 通过这一步，你就会拿到腾讯的 secretId、secretKey，主要用于鉴权使用 引入go-easy-llm go Chat 模式大模型 一次性回复 NormalChat resp, reply, err := client.NormalChat(context.Background(), &easyai.ChatRequest Message: "介绍一下你自己", }) for content := range resp { fmt.Println(content) } 通过以上简单几步，你就可以轻松的调用腾讯混元大模型了
47410编辑于 2024-09-02 中国企业调用大模型日均超10万亿Tokens，阿里通义份额第一
9月1日，国际市场调研机构沙利文（Frost&Sullivan）发布了最新的《中国GenAI市场洞察：企业级大模型调用全景研究，2025》。 据报告显示，2025年上半年，中国企业级市场大模型的日均总消耗量为 10.2 万亿 Tokens，其中，阿里通义占比17.7%位列第一，成为目前中国企业选择最多的大模型。 报告显示，中国大模型企业级市场呈爆发式增长：较2024年下半年，2025年上半年日均调用量暴增363%，已逾10万亿tokens；其中，阿里通义占比17.7%，字节豆包占比14.1%，DeepSeek占比 沙利文报告显示，七成企业选择公有云部署或调用大模型，71%企业还表示未来将增加公有云形态的生成式AI服务。 此外，开源模型尺寸、类别丰富，企业还能完全掌握自主权，根据自身业务特点定制模型及应用。 报告预测，未来超过80%的企业将采用开源大模型，预示着开源模型将在行业应用中占据主导性增长。
83410编辑于 2026-03-19- 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.7K30编辑于 2023-09-12 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
66210编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 大模型应用需要一个针对产品级大型语言模型的高效管理系统。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力，它们在各种控制平面和应用场景中都发挥着重要作用。然而，尽管大模型的应用范围广泛，但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.3K10编辑于 2024-12-24 - 来自专栏软件测试学习
怎么通过API调用AI大模型获取响应结果
要通过api在代码里面去调用大模型，需要先申请大模型的api key,以deepseek官网为例，apikey的申请地址：https://platform.deepseek.com/api_keys 目前 ，deepseek通过apikey调用是要收费的，注册后需要充值使用，也可以用其他第三方平台的apikey调用的方式进行接入，代码都是差不多的，改一下相关的配置就行。 代码案例的话，deepseek官网就有提供最简单的案例： https://api-docs.deepseek.com/zh-cn/ 调用上面的代码，需要安装依赖： pip install openai 通过上面2篇文章，一个是可以将大模型切换为其他第三方平台的api进行调用，有的平台注册会赠送一定的体验额度，可以临时用于代码调试啥的，另一篇文章的话，是可以将代码里面的apikey以及对应的api地址等信息放到配置文件里面 模型列表可以参考：https://huggingface.co/deepseek-ai/models https://modelscope.cn/models
5.1K10编辑于 2025-06-23 - 来自专栏人工智能应用
大模型本地部署与应用调用的技术指南
本地部署大模型是指将预训练好的语言模型下载到本地设备（个人电脑、服务器或边缘设备）上，并通过特定的推理框架进行加载和调用的过程。 本文将帮助您克服这些挑战，实现大模型的高效本地部署。 目前主流的开源大模型包括： 1. 智谱AI的GLM系列 GLM-4：最新一代开源大模型 许可证：允许非商业使用 优势：中文理解能力强，指令遵循度高 模型下载与准备 模型获取途径 Hugging Face：最主要的模型分发平台 随着开源模型质量的提升和部署技术的成熟，本地LLM应用将变得越来越普及。希望本指南能帮助您成功部署自己的大模型应用，探索AI技术的无限可能。
4.6K10编辑于 2025-08-01 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. label] = metrics['f1-score'] if f1_scores: labels = list(f1_scores.keys())[:10 : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率（阅读理解）NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准，不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
67132编辑于 2026-02-07 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.6K10编辑于 2023-10-13 - 来自专栏量子位
让ChatGPT调用10万+开源AI模型！HuggingFace新功能爆火：大模型可随取随用多模态AI工具
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 只需和ChatGPT聊聊天，它就能帮你调用10万+个HuggingFace模型！ ChatGPT就能调用图像解释器，输出“海狸正在水里游泳”： 随后，ChatGPT再调用文字转语音，分分钟就能把这句话读出来： 当然，它不仅支持ChatGPT在内的OpenAI大模型，也支持OpenAssistant 等免费大模型。 Transformer Agent负责“教会”这些大模型直接调用Hugging Face上的任意AI模型，并输出处理好的结果。 所以这个新上线的功能，背后的原理究竟是什么？ HuggingFace上各种大大小小的AI模型，都被收纳在这个包里，并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”…… 同时，每个工具都会有对应的文字解释，方便大模型理解自己该调用什么模型
2.5K10编辑于 2023-05-12 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ 但这样的模型推理成本会很高，就像现在 GPT-4 读一篇论文要 10 美金，只有高净值客户和探索科学前沿的场景才消费得起。 推理性能优化的空间更大，因为 Transformer 的结构，很多场景下有效算力只有 10%~20%。如果做 batching，时延和带宽又会成为 trade-off。 最后还要提一点，模型和应用之间的中间件有可能成为新的编程语言和程序调用（RPC）接口。大模型的一大特点是能够把编程界面从程序语言改变成自然语言，从而使得自然语言编程成为可能。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
70830编辑于 2023-09-01 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家，并行工作以处理查询。 这些代理可能是较小的语言模型，它们已经接受过特定任务的训练，或者是具有特定功能的通用模型，如GPT、Llama、上下文提示和函数调用。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户Proxy代理；二是防火墙，它为模型提供了保护层。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。
5.4K11编辑于 2024-04-03 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 知识蒸馏 知识蒸馏是将知识从一个（较大的）教师模型传递到一个（较小的）学生模型。一种方法是通过教师模型生成预测，并使用这些预测来训练学生模型。 令人惊讶的是，训练结束时，学生模型在所有评估指标上都超过了教师模型！ 接下来，我们可以在独立的验证集上评估模型，即未用于训练模型参数或调整超参数的数据。
56310编辑于 2024-09-24 - 来自专栏喔家ArchiSelf
大模型应用的10种攻击方式
我们将探索的每种技术都揭示了这些模型如何思考和推理的迷人之处。我特别高兴能够分享这些见解，因为它们不仅帮助我们理解如何打破这些系统，而且帮助我们理解如何更好地构建大模型应用系统。 1. 8.函数调用漏洞 现代 llm 中函数调用功能的兴起开辟了令人着迷的新攻击载体。攻击者现在可以将有害的请求伪装成看似无害的 API 调用，类似于外交官利用外交豁免权走私违禁品。 该模型侧重于正确地执行函数调用，可以绕过通常的内容过滤器。有些攻击者甚至将多个功能链接在一起，创建复杂的工作流来掩盖其真实意图。 9. 对于那些尚未针对提示词提取尝试进行特别强化的模型，这种技术已被证明特别有效。 10. 多智能体妥协攻击 多智能体妥协攻击利用人工智能系统的协作特性，通过它们的交互机制传播妥协行为。 虽然并非所有这些技术都在 OWASP 的 10 大 LLM 应用程序漏洞中被明确归类，但是许多技术都属于其更广泛的类别： 提示注入、数据中毒和系统提示泄漏。
15410编辑于 2026-06-15 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家，并行工作以处理查询。 这些代理可能是较小的语言模型，它们已经接受过特定任务的训练，或者是具有特定功能的通用模型，如 GPT、Llama、上下文提示和函数调用。 3. 通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。
95510编辑于 2024-04-12 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 10. Haystack Haystack 是由 deepset 开发的一个开源框架，专门帮助企业构建生产级的 大模型应用、RAG（检索增强生成）流水线以及复杂的搜索应用。 GLMagent除了基础智能体生成能力外，智谱推出的GLMAgent还支持通过API调用实现文本对话、文生图、联网搜索等多样化功能。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
12.6K30编辑于 2025-03-24 《龙虾大模型调用Token损耗的五层治理路径》
大模型业务落地的成本失控，往往不是来自可见的功能开发，而是藏在调用链路的隐性损耗里。 龙虾体系内的大模型调用场景，普遍存在超时重试的默认配置，多数团队只关注重试能否保障业务成功率，却忽略了一个核心计费规则：绝大多数大模型服务商按输入Token计费，请求一旦发出，无论最终是否成功返回结果， 不少团队直到季度复盘时才发现，大模型调用成本远超预算，排查后才知晓近三成消耗来自无效重试，而这类损耗本可以通过架构设计提前规避。 多数团队的重试策略沿用传统接口调用的惯性思路，采用固定次数加指数退避的通用配置，没有针对大模型的计费特性做差异化设计。 落地过程中还要同步沉淀标准化的调用规范，新业务接入大模型时直接遵循规范，从一开始就避免无效消耗，不用等成本失控了再回头治理。
13110编辑于 2026-06-22Java接入AI大模型：适配与稳定调用实践指南
然而，当Java企业尝试将AI大模型融入现有架构时，多模型统一适配与生产级稳定调用成为两大核心障碍。 一、Java接入AI大模型的核心挑战当前Java企业在AI大模型接入阶段，主要面临适配成本高与调用不稳定两大结构性问题，直接影响项目落地效率与系统安全性。 1.2 生产环境的调用稳定性问题大模型本身具有响应时延不确定、资源消耗高的特性，在生产高并发场景下易引发系统故障：• 资源耗尽风险：大模型调用耗时较长，若采用同步阻塞模式，易导致Tomcat连接池、线程池耗尽 二、Java接入AI大模型的技术架构设计解决上述问题的核心思路是构建解耦的统一接入层，通过标准化接口与工程化设计，实现多模型兼容与高可用调用。 2.2.2 稳定调用保障模块为应对大模型调用的不确定性，该模块需构建全链路容错机制：• 异步非阻塞调用：基于Java NIO或异步框架（如Spring WebFlux）设计调用逻辑，避免同步阻塞占用大量线程资源
49810编辑于 2026-03-13- 来自专栏DotNet NB && CloudNative
基于ChatGPT函数调用来实现C#本地函数逻辑链式调用助力大模型落地
通过这项能力模型在需要的时候可以调用函数并生成对应的 JSON 对象作为输出。 这使开发人员能更准确地从模型获取结构化数据，实现从自然语言到 API 调用或数据库查询的转换，也可以用于从文本中提取结构化数据。 ，无疑在稳定性(基于三方库的函数调用主要是依赖提示词实现，其稳定性和提示词质量高度相关)和易用性上都上了一大台阶。 今天我们就以一个具体的案例来讲一下什么是函数调用，基于函数调用我们可以实现哪些能力，从而将一个只能聊天的大语言模型落地到更加真实的业务场景中。 但是现在基于大语言模型和函数调用，以上这些功能只需要单个开发者用极短的时间即可实现。因为基于大语言模型本身的逻辑思维，它可以选择调用哪些函数来实现功能，而我们要做的仅仅是告诉它有哪些功能而已。
81440编辑于 2023-08-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号