- 综合排序
- 最热优先
- 最新优先
腾讯税务大模型解决方案：以私有化部署与知识引擎实现精准高效服务
税务行业面临数据安全与精准服务双重挑战 税务行业在处理纳税人咨询、政策解读和业务办理时，面临核心痛点：敏感数据需物理隔离以符合《数据安全法》等监管要求，且传统客服系统难以应对专业、复杂的涉税问答。 腾讯云提供私有化部署与知识引擎核心方案 针对强监管行业特性，腾讯云首推私有化部署方案，确保数据不出域。 核心组件腾讯云知识引擎通过RAG（检索增强生成）技术，将大模型与税务专属知识库结合，提供三种应用模式： 标准模式：用于智能客服、专家助手等精准问答场景。 税乎网知识库快速落地验证方案可行性 典型客户案例税乎网税务知识库已成功部署，该知识库专注于税务稽查案例。 腾讯云全栈技术能力与DeepSeek集成保障方案领先性 选择腾讯云的核心优势在于其全链路技术整合： 模型支持：平台支持DeepSeek全系列模型（R1、V3） 及腾讯自研混元大模型，可在TI-One平台进行精调
9110编辑于 2026-05-30大模型私有化部署工具比较
LocalAILocalAI是一种专门为本地部署设计的工具，它支持多种AI模型和硬件环境。主要优点包括：灵活性：LocalAI支持多种操作系统和硬件，使得用户可以在不同的环境中部署模型。 然而，LocalAI也有一些缺点：资源需求：为了在本地运行大模型，需要较高的计算能力，这可能导致较大的初期投资。技术支持有限：相对于成熟的云服务平台，LocalAI的用户社区和技术支持可能不够健全。 更新频率：更新和迭代速度可能无法与市场上快速发展的AI模型需求保持同步。目前遇到几次gpu显存不释放问题。背景：部署了rerank模型，使用vllm推理引擎。 如果请求量过大，会导致gpu显存占用过大，xinf好像会重新调用大模型，但是之后不再继续使用gpu, 重新launch模型不管用。需要整个重启xinf。 OLLAMAOLLAMA是一个比较新的本地部署工具，它专注于提供高效的大模型本地管理解决方案。OLLAMA的主要优点是：模型管理：强大的模型管理功能，支持多版本控制和自动更新。
2.5K10编辑于 2024-10-30税务大模型私有化部署与知识引擎RAG方案：算力底座、成本优化与合规落地
第一章：强监管场景下的数据合规与成本困境 在税务、政务等强监管行业，大模型落地面临核心战略困境：既要利用AI提升业务效率，又必须严格遵守数据本地化与隐私保护法规。 高频调用成本压力： 在客服系统每日处理百万级回答的高频场景下，公有云按次付费模式的边际成本显著高于私有化部署。 第二章：构建“混元+DeepSeek”双引擎与私有化架构 针对行业痛点，解决方案采用“大模型底座+行业应用框架+私有化部署”的组合模式，通过工程化手段弥补通用模型短板。 1. 算力与部署模式 私有化首选： 提供私有化算力部署，通过数据物理隔离+业务深度集成，满足政府、金融等高价值场景刚需。 第五章：全栈技术能力与生态优势 选择腾讯税务大模型解决方案的核心逻辑在于技术确定性与全链路服务能力： 双模驱动策略： 结合 腾讯混元大模型（持续演进，适合通用场景）与 DeepSeek（强化推理，适合逻辑复杂场景
16510编辑于 2026-05-30DeepSeek大模型本地私有化部署详尽步骤解析，助你轻松部署
大模型私有化部署，即将AI模型本地部署，在开始前，我们有必要先理解本地部署带来的好处是什么，它不仅仅是“换个地方运行AI”，更是对数据、成本和使用体验的一次全新掌控。 轻量级，主要通过命令行指令进行模型管理和运行。操作难度极低，无需任何编程或命令行基础，全程鼠标点击。低至中等，需要掌握基本的命令行操作。部署流程集成模型下载、环境配置、运行和交互于一体。 接下来，我们来看下使用「DS本地部署大师」如何进行本地部署吧。准备工作：硬件检查与软件获取1、硬件配置检查：本地部署大模型对硬件有一定要求，主要是显卡和内存。 第三步：启动模型并开始对话模型下载并部署成功后，就可以立即开始体验了。只需要点击“立即体验”，就可以进入到对话界面，开始与AI进行对话啦。 在对话界面，你除了可以选择本地部署的本地模型，还可以切换到在线模型，如DeepSeek、文心一言、豆包，并可以结合联网搜索功能。
7K50编辑于 2025-08-25零基础学AI大模型之大模型私有化部署全指南
AI大模型之AI大模型常见概念 零基础学AI大模型之大模型私有化部署全指南：方式、硬件配置与Ollama实操 在大模型技术落地过程中，私有化部署因数据隐私保护、定制化需求适配、离线场景支持等优势，成为企业级应用的核心选择 本文将系统梳理开源大模型私有化部署的常见方式，详解DeepSeek各参数模型的硬件配置与适用场景，并聚焦Ollama工具的实操落地，为技术团队提供从选型到部署的完整参考。 一、开源大模型私有化部署：2种核心方式对比 开源大模型的私有化部署无“统一方案”，需根据技术门槛、团队能力、场景需求选择。 二、DeepSeek大模型私有化部署：全参数硬件配置与场景选型 DeepSeek-R1系列覆盖1.5B到671B参数，不同规模模型的硬件需求、推理性能、适用场景差异极大。 关键注意点： 显存：INT8量化可减少50%显存占用（如7B模型从6GB→3GB），但精度略有损失； 网络：多卡部署（如32B/70B）需100Gbps以上网络，避免数据传输瓶颈； 隐私：敏感数据场景必须选择离线部署
2.6K11编辑于 2025-12-22企业私有化大模型部署：从选型到上线的完整工程路径
一、一个被忽视的问题2026年，越来越多的企业开始考虑私有化部署大模型。原因很简单：数据安全、合规要求、成本可控。但一个普遍存在的现象是：很多团队在选型和部署阶段就卡住了。 私有化部署涉及硬件选型、模型选型、推理框架、高可用架构、成本测算等多个环节，每个环节都有不少坑。这篇文章就是一套从选型到上线的完整工程路径，希望能帮你少走弯路。 （开源 vs 商业）推理框架选型硬件配置确定阶段三：部署环境搭建模型部署与测试高可用配置（如需）阶段四：上线监控体系搭建成本归因方案应急预案九、延伸阅读本文介绍的企业私有化大模型部署工程路径，与 ZGI ZGI支持私有化部署、多模型接入、精细化成本归因，感兴趣可以参考ZGI的技术文档。写在最后私有化大模型部署不是一件简单的事，但也不是不可逾越的难题。 你的私有化部署，卡在哪一步？
89700编辑于 2026-04-13- 来自专栏AI分享
模型即服务（MaaS）的私有化部署
Python生态中的Zato一、Zato核心架构解析1.1 服务总线设计哲学Zato采用经典的ESB模式，其架构核心由三大组件构成：服务容器：轻量级运行时环境，采用多进程模型（默认每个worker 8进程 ）消息代理：基于Redis的混合持久化策略（内存+磁盘备份）管理控制台：基于Django Admin的Web管理界面# 典型部署拓扑示例 +-------------------+ | Redis Cluster | | (Message Broker) | +-------------------+1.2 异步通信模型 Zato采用基于gevent的协程模型实现高并发处理。 CelerySpring Cloud协议支持30+HTTP为主15+内置安全多层防御体系需自行集成OAuth2/JWT服务编排可视化配置Celery任务链Spring Cloud Data Flow学习曲线中等低高部署复杂度一体化多组件部署中等六
4.4K10编辑于 2025-04-02 - 来自专栏MavenTalk
快速部署ChatGLM-6B大模型实战总结
近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。 然而，当开源的大模型 ChatGLM 面世时，我却遇到了一些困扰，但幸运的是，腾讯云给了我一个难得的机会。 下载模型文件 https://github.com/THUDM/ChatGLM-6B 官方网站 从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。 huggingface.co/THUDM/chatglm-6b 模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件： 测试 终端运行 Demo 进入ChatGLM server.port 27777 --server.address 0.0.0.0 执行成功的效果如下： 打开浏览器可见到如下界面： 跟它对话一下，看看效果： —扩 展 阅 读— 正在发生或即将发生的AI大模型应用
2K20编辑于 2023-09-06 金融风控大模型技术指南：私有化部署与腾讯云产品集成
摘要： 本文旨在为金融行业提供金融风控大模型技术的解析、私有化部署操作指南以及与腾讯云产品的集成方案。 通过技术解析、操作指南和增强方案三个部分，详细介绍了金融风控大模型的核心价值、实施挑战、部署流程、性能优化以及与腾讯云产品的集成优势。 操作指南 以下是金融风控大模型私有化部署的分步操作指南，以及如何利用腾讯云产品特性进行性能优化和高可用设计。 步骤一：数据预处理 原理说明： 数据预处理是模型训练的前提，包括数据清洗、特征工程等。 步骤二：模型训练与部署 原理说明： 选择合适的机器学习框架进行模型训练，并将其部署到私有化环境中。 通过本文的技术指南，金融行业可以更好地理解金融风控大模型技术，并利用腾讯云产品实现私有化部署和优化，以提升风控效率和业务竞争力。
57310编辑于 2025-07-29- 来自专栏陶士涵的菜地
本地私有化部署大模型RWKV-懒人包一键安装享受专属免费大模型-RWKV Runner
v1.3.7_win.zip，然后让其自动更新到最新版，或添加信任 对于不同的任务，调整API参数会获得更好的效果，例如对于翻译任务，你可以尝试设置Temperature为1，Top_P为0.3 功能 RWKV模型管理 启动模型后，打开 http://127.0.0.1:8000/docs 查看详细内容 全自动依赖安装，你只需要一个轻巧的可执行程序 预设了2G至32G显存的配置，几乎在各种电脑上工作良好 自带用户友好的聊天和补全交互页面 易于理解和操作的参数配置 内置模型转换工具 内置下载管理和远程模型检视 内置一键LoRA微调 也可用作 OpenAI ChatGPT 和 GPT Playground 客户端 多语言本地化 主题切换 BlinkDL/RWKV-LM RWKV-LM-LoRA: https://github.com/Blealtan/RWKV-LM-LoRA Preview 主页 图片 聊天 图片 补全 图片 配置 图片 模型管理
1.4K10编辑于 2023-07-21 - 来自专栏强人工智能之路
使用开源大语言模型私有化部署打造数据库专家系统
1 什么是DB-GPT一个开源的以数据库为基础的GPT实验项目，使用本地化的GPT大模型与您的数据和环境进行交互，无数据泄露风险，让大模型的能力绝对私有、安全、可控。 用户只需要整理好知识文档，即可用现有的能力构建大模型所需要的知识库能力。3.2 大模型管理能力在底层大模型接入中，设计了开放的接口，支持对接多种大模型。 3.5 Agent与插件Agent与插件能力是大模型能否自动化的核心，在本的项目中，原生支持插件模式，大模型可以自动化完成目标。 6 总结这个开源项目，功能全面，集成了开源的大模型、私人知识库能力、数据库SQL生成能力、与DB的交互查询能力，如果这些能力都能做到90分，那这个项目非常值得在生产环境中使用，因为它解决了代码泄露的安全问题 但方向是对的，未来大模型在公司生产环境某个领域落地，应该就是这种方式。期待开源的大模型早日追上3.5的能力！
5.9K72编辑于 2023-06-05 大模型提升税务合同审核效率，漏检率降低95%以上
税务合同审核面临效率与准确性双重挑战 在国际税收领域，税务机关需审核企业跨境支付合同的真实性，并基于合同类型判断税款计算逻辑。 传统人工审核方式面临三大核心痛点：合同审核占国际税处及区税务局科室工作量的40%（来源：原文业务数据），每年需处理约2.4万份合同（来源：原文业务数据），人工逐份审核导致周期长达一周；审核人员对合规条款理解存在差异 三方联合推出智能合同审核解决方案 腾讯云、华云中盛与税务部门联合推出基于大模型的智能合同审核系统。 方案依托腾讯智能体开发平台构建，通过三大核心能力提升审核效率：知识库导入法规、税收政策及审核规则并建立关联索引；腾讯文档解析原子能力自动提取合同内容并识别文字和图片；长文本处理工作流对合同进行切片处理， 这些能力共同确保了合同审核的系统稳定性与处理效率，为税务部门提供了可靠的技术底座支撑。
17910编辑于 2026-04-08- 来自专栏见睿思齐
关于语言模型私有化部署的讨论 | AIGC实践
上周在与TC同行关于AIGC实践的线上交流中，大家普遍比较关心的一个实践切入点是：语言模型的私有化部署——简单来说，就是在企业内部，部署一个属于自己的“ChatGPT”，对于本行业/专业知识，以及企业独有的产品和技术信息有充分的了解 --ar 16:9 基本分析 语言模型私有化部署的应用场景，可谓显而易见。 典型场景包括： 内部知识库：提供企业内部的知识共享平台。 智能客服机器人：提供获取产品/技术信息的用户接口。 算法：需要比较专业的算法工程师参与进行模型训练/微调。 研发观点 从研发的角度来看，实现语言模型私有化部署，还是非常有希望的。 实现语言模型私有化部署的系统架构，主要包括： LLM：语言模型； KB：知识库； 框架：将LLM和KB建立联系； UI：用户界面。 第三，语料库的开发也会牵扯到比较大的投入成本，切不说是行业内的专业信息，即便是聚焦在企业产品和技术上的信息，也可能需要投入非常大的工作量。
77210编辑于 2024-02-26 AI大模型的企业级部署策略：私有化vs云端的成本效益分析
战略要点：AI大模型的部署策略选择是企业智能化转型的关键决策点。私有化部署提供最大的控制权和安全性，但需要巨大的初期投资；云端服务降低了门槛和风险，但在定制化和数据控制方面存在局限。 一、AI大模型企业级部署概览：战略选择的重要性 随着ChatGPT、GPT-4、Claude等大语言模型的快速发展，企业正面临着如何选择合适的AI大模型部署策略的重要决策。 企业规模、行业特性和技术能力是影响选择的三大关键因素。 二、私有化部署深度解析：自主可控的智能基础设施 私有化部署代表了企业对AI大模型的完全自主控制，适合对数据安全、定制化要求较高的大型企业。 AI大模型部署策略。 7.1 私有化部署实施路径 ️ 私有化部署实施时间线 准备阶段（1-2个月）： 需求分析和技术选型 预算申请和团队组建 供应商评估和方案设计 建设阶段（4-6个月）： 基础设施建设和硬件采购 软件安装和系统集成
3.3K10编辑于 2025-06-08- 来自专栏云服务业务
如何在腾讯云GPU服务器上部署私有化大模型？附GPU简介
本文讲如何用最低成本在腾讯云上部署专属大模型？首先来了解部署专属大模型前期的工作准备和腾讯云GPU服务器的简介。 服务器配置推荐如下： GPU：NVIDIA T4/A10/A100 CPU：32核以上 内存：64GB以上 软件环境： 操作系统：主流的操作系统如 Windows 10/11、Ubuntu 等都可以用于大模型部署 Python 环境：Python 是大模型开发和部署的核心语言。我们需要安装 Python 3.7 及以上版本。 腾讯云GPU服务器进行大模型部署优势 性能优势 T4/A10/A100等多种GPU配置可选；支持GPU直通，性能损耗极小；网络带宽大，数据传输快速。 假设你已经有了一个基于ChatGLM2-6B微调的模型： from transformers import AutoTokenizer, AutoModel # 加载模型和分词器 tokenizer =
1.8K20编辑于 2025-09-04 2026年AI大模型私有化部署：腾讯云GPU服务器选型与配置实战
摘要： 2026年，越来越多的企业希望将AI大模型私有化部署在自己的云服务器上，以确保数据安全和降低调用成本。但部署大模型对服务器配置要求极高，选错了配置要么跑不动要么浪费钱。 本文从模型规模、硬件需求、配置选型三个维度，教你如何用腾讯云服务器高效部署AI大模型。 产品推荐： 腾讯云CVM云服务器 — 安全可靠的弹性计算服务 | 新用户0元免费试用 → AI大模型部署为什么需要私有化？ 数据安全：企业核心数据不出域，避免敏感信息泄露 成本可控：调用量大时，私有化部署比按次API调用便宜得多 低延迟：部署在自有服务器上，响应速度远快于远程API调用 可定制：可以对模型进行微调、量化，适配自己的业务场景 合规要求：金融、医疗等行业有数据本地化要求 AI大模型部署的硬件需求 模型规模 参数量 显存需求 推荐GPU CPU/内存建议 小型模型（7B以下） <7B 8-16GB T4 16GB 或 CPU量化推理
1.8K20编辑于 2026-04-23腾讯大模型税务行业解决方案：混元与DeepSeek双引擎架构及量化实践
一、 突破商用落地瓶颈与数据合规限制 当前，尽管以 DeepSeek 为代表的开源大模型在推理能力上取得了显著突破（如 API 成本仅为 OpenAI 的 1/40），但税务与政企行业在将大模型转化为实际生产力时 二、 部署私有化底座与知识引擎架构 针对税务行业的业务连续性要求与数据壁垒，腾讯云构建了以“数据物理隔离+业务深度集成+确定性性能”为核心的私有化解决方案，提供从算力到应用的全链路支持： 双轮驱动模型矩阵 通过私有化部署，满足强监管高价值场景的刚需。 大模型知识引擎（RAG & 工作流）： 提供标准模式、工作流模式与 Agent 模式。 四、 驱动金融税务垂直场景业务落地 腾讯云大模型方案已在对数据严谨度要求极高的税务与金融核心场景中产生实际业务价值： 税乎网（大型税务稽查案例库）： 依托腾讯 Ima 知识库能力，零成本构建税务行业专属知识库 全栈工具链支持： TI 平台（TI-ONE、TI-Matrix）打通了从数据获取、算法构建、大模型精调到应用编排的全流程链路，确保税务行业大模型从实验室环境顺利过渡到复杂生产环境。
16210编辑于 2026-05-30- 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models server-cuda -m /models/gpt-oss-20b-F16.gguf --port 8000 --host 0.0.0.0 -c4096 -n 1024 -ngl 999 可以看到已经启动成功 6、
1.9K10编辑于 2025-10-11 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。 理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。
6.6K33编辑于 2025-02-06 - 来自专栏大模型&AIGC
6种大模型微调技术
这一发现尤为重要，因为大型模型的共享和部署成本高昂，而能够重用一个冻结的模型来执行多个下游任务可以减轻这一负担。 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 随着我们预训练更大的模型，全面微调（即重新训练所有模型参数）变得不太可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例都有175B参数，成本是极其昂贵的。 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
2.9K00编辑于 2025-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号