首页
学习
活动
专区
圈层
工具
发布

#路由

两大厂降价八成,账单算在缓存重读

海风自语

上个月我翻自家 AI 日报流水线的月账单,心里咯噔一下。OpenAI 和 Anthropic 这四个月把部分模型单价砍了快八成,可我那张按调用量结算的票,降幅没...

2200

子网挂了 NAT 网关,服务器的 EIP 就不出网了

用户7542235

大部分机器在私有子网里靠 NAT 统一出网,有几台要对外提供服务,单独绑了 EIP。两件事各自都对,放在一起出了问题。

4110

Kimi K3.1 Pro 把开放权重顶到前沿3分内:agent 底座选型该重写了

海风自语

凌晨一点,月之暗面把 Kimi K3.1 Pro 放了出来。我第一反应不是看它多强,是去核它的价目表和上下文长度:2.8 万亿参数、100 万 token、输入...

19010

蚂蚁数科发布决策模型 LingDT-Decision-1.0,Token 消耗降低超 90%

YourTools

蚂蚁数科 10 月 22 日发布决策模型 LingDT-Decision-1.0,相比大语言模型 Token 消耗降低超 90%,响应时效提升 10 倍,27B...

16010

判断引擎落地 .NET 的四条路线、一个客户端与一份生产样本

张善友

客服系统收到一条消息,要的是"转账单组还是技术组";审核系统拿到一张图,要的是"过还是不过";工单系统要的是一个严重度评分。答案就是一个选项、一个概率、一个分数...

21910

OmniRoute 本地模型代理快速入门指南

zeekling

在 Claude Code、Codex、Cursor、OpenCode 等工具中配置 OmniRoute:

24100

MaaS平台技术栈之Aibrix

宅蓝三木

一个值得注意的工程点:路由是在插件里做的,不是每个请求都去实时查询后端 Pod。插件会维护一份高频本地缓存,通过周期性拉取 + 订阅的方式拿到各 Pod 的指标...

15410

硅碳相变:骁龙8至尊版端侧跑300亿参数,云端API网关价值反增

用户12770583

19310

黄仁勋的皮衣哲学,藏着token8341 AI开发分水岭

用户12770583

10410

从数十秒到数秒:用 Jev 做多模型任务路由的降本方案

gavin1024

很多 AI 系统有个隐性浪费:不管任务难易,一律发给最贵最强的大模型。我想做智能路由,可"判断该走哪个模型"这步本身如果也用大模型,又慢又贵。这一周我用 Jev...

27610

语音控浏览器为何总慢半拍:用 Jev 做意图判断层

hollyx

语音控浏览器的链路是:语音转文本 → 判断用户意图 → 路由到对应动作。卡点在中间那步。用大模型解析意图,慢在逐字生成、响应以秒计;输出是自由文本,难以直接对接...

16910

Jev 怎么用?三种原语 Choice、Score、Noul 使用入门

hollyx

这三种几乎能覆盖我日常遇到的所有判断需求。分类、路由是 Choice;风险、情绪、优先级分级是 Score;"是不是垃圾邮件、是否表达了取消意图"这类真伪判断是...

29420

硅碳相变:OpenAI新动作背后,我们更担忧的另一件事

用户12770583

16210

LangGraph 基于状态图构建工作流入门

王瑞MVP

传统LangChain是LLM应用的组件工具箱,以Chain与Runnable为核心抽象,提供提示词模板、文档处理、向量检索、工具调用、记忆能力等标准化组件,目...

18810

你那个「1 折」的 AI 中转站,正在悄悄 10 倍消耗你的 Tokens

派大星的数据屋

现在我们公司已经几乎没有人再手动写代码了——因为 Claude Code 和 Codex足够聪明,尤其是Claude 4.7 Opus和GPT 5.5,这俩模型...

96310
领券