首页
学习
活动
专区
圈层
工具
发布

900MB的推理模型,小型AI的里程碑时刻

两年前需要数据中心才能运行的推理能力,现在装进了任何一部手机里。

Liquid AI 刚刚发布了 LFM2.5-1.2B-Thinking,一个只需900MB内存就能完全在本地运行的推理模型。它在回答问题前会生成内部思考链,在工具调用、数学运算和指令遵循方面表现亮眼。更值得关注的是,它用比 Qwen3-1.7B 少40%的参数,在多数基准测试中达到了相当甚至更好的成绩。

社区的反馈很有意思。

有开发者指出,这个模型主要是数学能力的飞跃。对比数据显示,Thinking版本在GSM8K上从64.52跃升到85.60,MATH-500从63.20飙到87.96,AIME25更是从14.00涨到31.73。但在GPQA Diamond这类通用推理测试上,反而略逊于Instruct版本。这说明“思考”能力的注入是有代价的,模型在某些维度做了取舍。

真正让我感兴趣的是社区对小模型定位的讨论。

有人直言:1B模型在真实场景中还是太弱了,希望看到更大的版本。但另一派观点认为,推动小模型的边界才是未来。历史总是这样,今天的极限就是明天的标配。

一位开发者分享了他的实践:用这个模型配合轻量级重排序器和SQLite向量数据库,在廉价迷你PC上搭建了一个RAG系统,从2800条预写答案中为用户检索信息。他说这是他遇到的第一个真正可用的1B模型。

这揭示了小模型的正确打开方式。1B参数装不下多少世界知识,但如果推理能力足够强,它可以学会检索、学会调用工具、学会在有限的上下文窗口里组织信息。知识可以外挂,能力才是核心。

当然也有人泼冷水。实际部署可能需要2GB内存,量化会带来精度损失,许可证也不是完全开放的Apache或MIT。这些都是工程落地时需要面对的现实。

但方向是清晰的。当推理能力可以被压缩到口袋里,AI的应用场景会发生根本性的变化。离线助手、本地Agent、隐私敏感场景,这些过去只能依赖云端的能力,正在一步步走向边缘。

有开发者已经在用它开发手机应用了。

Hugging Face: huggingface.co/LiquidAI/LFM2.5-1.2B-Thinking

reddit.com/r/LocalLLaMA/comments/1qi512t/liquid_ai_released_the_best_thinking_language

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OzlS3mTAiT_awa8Vq3BPxaMw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券