五大核心模型解析端侧3B参数语言模型 类似微软Phi-3-mini和谷歌Gemini Nano-2规模基于OpenELM改进,支持LoRA/DoRA适配器49K词表专为指令跟随优化云端MoE大模型(预估
Nano-1(1.8B 参数)和 Nano-2(3.25B 参数)设计为在终端设备上运行。 3. 32K上下文长度。 4. 非常擅长理解视觉和语音。 5.
明年将结合AlphaGo能力升级 除了Gemini实际效果,60页技术报告中披露的更多细节也是研究人员和开发者关注所在, 关于参数规模,只公布了最小的Nano版本,分为1.8B的Nano-1和3.25B的Nano
就比如,谷歌在去年12月祭出Gemini一系列多模态大模型中,端侧Gemini Nano小模型的参数分别为18亿(Nano-1)和32.5亿(Nano-2)。
这些高效的MLLM包括:MobileVLM [20]、LLaVA-Phi [21]、Imp-v1 [22]、TinyLLaVA [23]、Bunny [24]、Gemini Nano-2 [2]、MobileVLM-v2