MiniCPM-V

核心功能

• 多模态理解

  支持图片、视频和文本输入，能做图文问答、场景描述、视频内容分析等任务，手机上离线也能用。

• 文档OCR解析

  识别图片中的文字、表格和手写内容，适合处理票据、合同、报表这类需要提取信息的文档。

• 视频时序理解

  能看懂视频里发生了什么，理解事件的先后顺序和时间关系，不只停留在单帧画面。

• 语音对话

  MiniCPM-o系列支持实时语音交流，可配置音色，也能用几秒参考音频克隆声音。

• 声音克隆

  基于简短的声音样本克隆音色，并基于克隆音色进行角色扮演式语音对话。

• 端侧部署

  提供iOS、安卓、鸿蒙的端侧适配代码，通过llama.cpp在手机上本地推理，断网也能跑。

• 在线体验

  面壁智能提供了在线Demo，不用配环境就能上传图片试试模型的图文理解效果。

• 微调工具链

  开源SRFT微调方案，适配ms-swift和LLaMA-Factory，一张4090就能做全流程微调。

产品特色

• 01

  手机跑大模型这件事真做成了

  以前说手机跑大模型，多数是几B的小模型，能力有限。MiniCPM-V 4.7的35B-A3B版本把350亿参数总量的MoE模型塞进了手机，iPhone 17 Pro Max上占约3GB内存，解码速度超过13 token/s。断网也能用，这一点挺关键的。

• 02

  不牺牲能力换速度

  很多端侧优化是靠压缩模型、砍专家数量来提速的，代价是模型变笨。MiniCPM-V用的是LES前瞻专家调度技术，提前预测并加载下一步要用的专家权重，让加载和计算同步进行，速度提升约5倍但能力没有打折。这个思路在开源方案里算是独家的。

• 03

  文档和表格识别是强项

  OmniDocBench v1.6上35B-A3B拿到94.24分，比参评的其他几个模型高出12分以上。处理扫描件、财务报表表格、手写笔记这类任务时，识别准确度在同尺寸模型里属于第一梯队。

• 04

  全双工语音交互接近真人对话

  MiniCPM-o 4.5支持边看边听边说，不是一问一答的对讲机模式。可以随时打断、主动提醒，9B参数用一张消费级显卡就能跑全双工模式。

• 05

  开源生态对开发者友好

  Apache-2.0许可，商业使用填个问卷登记就行。提供了从微调到部署的完整工具链，支持vLLM、SGLang、llama.cpp、Ollama等主流框架，还有专门的CookBook教程。搞二次开发的门槛不高。

应用场景

• ✅ 外文资料阅读

  拍下外文菜单、路牌或说明书，模型直接在手机上翻译并解释内容，不用联网也不怕隐私泄露。

• ✅ 文档信息提取

  把合同、报表、发票拍照或扫描，模型自动识别其中的文字和表格信息，省去手动录入的麻烦。

• ✅ 视频内容分析

  上传一段视频，让模型总结关键内容和事件时间线，适合做视频摘要或内容审核的辅助工具。

• ✅ 智能座舱与家居

  面壁智能已和吉利、长安马自达等车企合作，端侧模型量产上车，做车内语音助手和场景识别。

• ✅ 移动端AI助手

  开发者在自己的App里集成端侧多模态能力，实现拍照问答、实时OCR等功能，不依赖云端API。

• ✅ 教育场景辅助

  学生拍下数学题图片，模型识别题目和图表，给出分步解答思路，离线也能用。

常见问题

解答您关于"MiniCPM-V"的常见疑问，让您更好地使用这款AI工具

• MiniCPM-V是完全免费的吗？ +

  代码和权重开源，学术研究完全免费，遵循Apache 2.0和MiniCPM模型社区许可协议。个人开发者做小工具、团队做内部项目，基本都能免费使用。

• 手机上跑需要什么样的配置？ +

  35B-A3B版本在iPhone 17 Pro Max上约3GB内存就能跑，iPad Pro实测解码速度15+ token/s。1B版本门槛更低，约6GB RAM的设备就能流畅运行。安卓和鸿蒙也支持。

• 跟GPT-4V比效果怎么样？ +

  8B参数的MiniCPM-V在单图理解、多图理解和视频理解等基准上曾超过GPT-4V。最新的35B-A3B在MMBench上拿到91.72分，MMMU 80.22分，OmniDocBench更是94.24分，文档处理方面领先明显。不过大模型能力对比要看具体任务。

• 怎么部署到自己的设备上？ +

  官方提供了详细教程，支持llama.cpp和Ollama等框架。手机上跑可以用MiniCPM-V-Apps仓库里的端侧Demo，iOS、安卓、鸿蒙都有适配代码。PC端一张消费级显卡就能跑，具体步骤参考GitHub上的CookBook。

• MiniCPM-o和MiniCPM-V有什么区别？ +

  MiniCPM-V主打视觉理解，处理图片、视频和文档。MiniCPM-o在视觉基础上加了语音能力，支持实时语音对话和声音克隆，能同时接收视频和音频输入，边看边听边说。简单说就是V是看，o是看+听+说。

• 支持二次微调吗？ +

  支持。开源了SRFT微调方案，适配ms-swift和LLaMA-Factory框架，一张RTX 4090就能做全流程微调。方案的设计目标是帮开发者在扩展模型能力的同时减少灾难性遗忘，对做垂直场景定制的团队来说比较实用。

立即体验“MiniCPM-V”

MiniCPM-V是面壁智能与OpenBMB开源的多模态大模型，主打端侧部署。35B-A3B版本在手机上仅需约3GB内存就能流畅运行，支持图文理解、视频分析、文档OCR等能力。覆盖iOS、安卓、鸿蒙，开发者可本地部署或二次微调，适合想探索端侧AI的个人和团队。