最近很多圈里人都在折腾把AI写代码这事搬回本地。用Mac Studio或双3090显卡,跑Qwen 3.6或Gemma 4。
大家真不是为了省那20刀订阅费,也不是单纯技术自嗨,而是因为本地AI已经跨过了“好用”的临界点。虽然本地模型在架构设计上还像个需要人盯着的实习生,容易陷入死循环,但胜在免费、无限额且绝对隐私安全。
这里有个行业内幕:云端SOTA模型之所以显得聪明,是因为背后有极为复杂的黑盒多模型协同编排;而本地部署要好用,工具框架(harness)的上下文调度和 prompt caching 优化,往往比模型参数大小更决定成败。
有深度的聪明玩法是“混合编排”:用云端顶配模型做高难度的架构设计,输出规格说明;再用本地开源模型高频、无限制地实现具体代码。硬件是一次性资产投资,换来的是技术控制权和源源不断的免费生产力。
news.ycombinator.com/item?id=48542100
#人工智能##AI创造营##开源LLM##AI编程#