首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

AIGC 内容标识规则、技术规范与合规要点

aigc合规师虎虎

佛山迫无科技 | aigc合规师 (已认证)

本标准是国内 AIGC 内容标识领域的强制性技术规范,核心目标是通过标准化标识手段,防范 AI 生成合成内容被误用、滥用及恶意利用,提升全行业 AI 安全治理水...

600

Ollama【部署 06】使用Docker部署AnythingLLM让全员共享智能体(使用本地Ollama)

yuanzhengme

AnythingLLM是一个全栈应用程序,可以使用现成的商业大语言模型或流行的开源大语言模型,构建一个私有ChatGPT,不再受制于人,本地运行,能够与您提供的...

200

硬核实战:2.15 倍推理提速!揭秘 LLM 小批量解码的隐形致命坑

山野大叔

在LLM部署中,小批量连续解码(Batch Decode) 是线上服务、对话场景最主流的形态。长期以来,业内有一个普遍看法:

2000

基于大模型ChatGPT的Excel数据分析自动化工程实践

霖川

每个数据开发或后端老哥都经历过这种绝望:业务方甩来一个50MB、格式稀碎、还夹杂着合并单元格和隐藏行的Excel,要求半小时出个分析报表。手写Pandas清洗太...

2610

单模型多Key负载均衡:同一个大模型多密钥分摊QPS限制

用户12512581

企业大模型API调用场景中,官方对单一密钥存在固定QPS、日调用量、Token流量三重配额限制。行业实测数据显示,90%以上通用大模型单密钥QPS上限集中在50...

3100

实测5种路由算法:千万日调用场景成本&延迟数据对比

用户12512581

千万日调用是企业大模型API规模化落地的核心分水岭。进入该流量量级后,路由算法的选型直接决定平台整体时延、推理成本、节点利用率与故障容错能力。行业统计数据显示,...

5300

小米 MiMo-V2.5系列API永久降价的技术分析(一)

A小码哥

DeepSeek V4 pro 和小米MiMo-v2.5 这波降价应该会逐步释放各大大模型厂商的技术迭代,促进行业整体的一波降价。根据小米发布的相关论文和产品说...

6000

终于来了!Hermes Agent 桌面版正式发布,支持 Windows、macOS、Linux,小白也能轻松上手!

鱼片粥来碗豆腐

今天早上十点,当我习惯性地打开技术周报,看到那行黑体加粗的公告——“Hermes Agent 桌面版正式发布,原生支持 Windows、macOS、Linux”...

8700

LLM高可用实战:生产级模型故障Fallback自动切换完整方案

用户12512581

大模型线上服务普遍存在限流、超时、服务空载、接口熔断、算力配额耗尽等故障场景。多数企业初期仅依赖简单重试逻辑,无标准化模型降级策略,主模型异常时直接导致业务报错...

3910

拒绝无脑Copy:ChatGPT生成Python/Java代码的工程化实战

霖川

上周五快下班时,产品经理临时塞了个需求:清洗一份百万行的脏数据CSV,并火速暴露个查询接口。按以前的节奏,这妥妥是个通宵局。但我现在早就习惯了把这种CRUD和清...

4400
领券