谷歌Gemma 4端侧模型亮相:有惊艳亮点,也存应用短板,未来体验值得期待!
近期,谷歌发布新一代开源模型Gemma 4,包含E2B、E4B、26B、31B四个规格。其中,E2B和E4B这两个"小模型",能直接在智能手机、树莓派等端侧设备部署和离线运行,一经推出便被不少人誉为迄今为止最好用的端侧模型。雷科技先后发布两篇实测内容,聚焦逻辑推理、多模态能力以及国产千元机上的体验表现。
端侧模型好用在哪?
使用一段时间后,雷科技编辑有了更多新感受。端侧模型究竟有多好用?以苹果宣布高级副总裁约翰·特努斯接替蒂姆·库克担任公司首席执行官一事为例,当把"为何库克选他当接班人"的问题抛给Gemma 4 E4B时,在iPhone 17 Pro Max上,该端侧模型接近"零延迟"开始输出信息,虽输出文本量较多,用了46秒给出完整版答案,但已能较好解答很多人的疑问。这体现了端侧模型的核心优势:在最低硬件成本(本地运行+0 Token消耗)条件下,给出"相对好"的答案或"够用"的解决方案。
应对专业问题有一套
再看另一个例子,对于热播国产剧《太平年》相关的专业问题"吴越国如何能在重税政策下反而维持八十余年的太平繁荣",Gemma 4 E4B模型也能根据用户问题有侧重地解答,展现出它不仅是离线的大百科全书,还能应对各类领域专业问题咨询。其知识截止点时间为2023年10月,理论上在此之前的公开事件、科学发现、历史信息和文化知识等都可询问。雷科技认为,这是端侧模型作为工具应用的一个实用场景,适合对各类信息和知识有好奇心的用户。
体验与更新情况
体验这款App(Google AI Edge Gallery)后,雷科技编辑将其放在手机主屏Dock底栏,因为几乎天天都用得到。谷歌表示,Gemma 4虽有知识截止点,但系统会不断更新和微调以提升理解和回答能力。
端侧模型的短板
然而,端侧模型并非十全十美。在基础知识领域,Gemma 4 E4B模型连唐诗名篇《将进酒》的全文和作者信息都会给错。原因在于端侧模型参数量偏小,无法涵盖所有知识领域,导致不少领域细节信息出现"失真"和"幻觉"现象。对于古诗文等原始文本信息,建议直接提供给模型让其进行翻译或解读。
解决问题的尝试
为解决参数量小带来的知识库信息量少问题,谷歌在端侧模型上首次引入"智能体"能力,但目前信息检索只能联网到在线百科网站,未提供可下载的离线知识库资源。
工具应用层面表现不佳
在工具应用层面,端侧模型在检查文章语病方面表现不佳,尤其是长段落文字。因为高精度任务需要大量编辑语料和强语言分布记忆,端侧模型常把语病检查变成文本修改(润色),混淆两者区别。若将指令改为"进行基本语病检查(无语病不要改)",输出结果会更清晰。此外,Gemma 4原生支持超140种语言,但在检查长文语病等复杂任务上,英文比中文支持更好,可能因其预训练语料以英文为主。
端侧模型的擅长技能
不过,端侧模型也有擅长的技能。雷科技此前体验过Gemma 4 E4B模型的原生多模态(图像、音视频)能力,在离线和网络较差环境下,它能对相册图片给出基本信息,适合飞行场景等对图片简单解读的需求,但对于复杂图像、音频信息理解能力有限。目前,端侧模型最擅长离线翻译、计算器、简单解题和测试训练等工具,以及相对专业领域的基础信息科普、咨询等。此前谷歌基于Gemma 3构建专用翻译模型TranslateGemma,TranslateGemma 4B模型性能可与规模较大的Gemma 3 12B基准模型媲美,后续有望推出基于Gemma 4的新一代专用翻译模型。无独有偶,腾讯混元近日也开源手机端离线翻译模型Hy - MT1.5 - 1.8B - 1.25bit,支持33种语言,压缩至440MB,用户免费下载后可在手机直接运行,官方称翻译效果"比肩"商用翻译模型。
适用人群与未来展望
总的来说,谷歌Gemma 4的推出,标志着端侧模型落地移动终端设备迈出"不完美"的第一步。目前端侧模型适合两类人群:一是天天查询大量古今中外信息的"百科向"用户,能更快、更直接、更定向地获取"初始版本"答案;二是手机装大量离线app的"工具向"用户,在翻译、计算器等工具应用领域表现较好。当然,想尝鲜或见证端侧模型成长的用户也可下载体验。对于iPhone用户,未来苹果推出自家端侧模型,大概率也就是谷歌Gemma端侧模型后续可实现的程度,增量或加强技能主要是端侧模型与手机操作指令的"完美联动"和"无缝接入"。
使用注意事项与发展潜力
需注意,谷歌Gemma 4端侧模型的回答和响应速度与手机运行内存和算力水平密切相关。iPhone用户建议运存8GB起步,推荐12GB;安卓用户建议运存12GB起步,推荐16GB,这样能体验最佳运行表现。国内用户下载谷歌Gemma 4端侧模型步骤简单,先在国区App Store或安卓应用商店下载配套App(Google AI Edge Gallery),再在App中进行本地部署(下载)和使用体验。端侧模型成为谷歌面向中国内地用户完全开放下载并可直接使用的大模型产品,未来可能全面部署乃至预装到更多国产终端硬件设备,包括小型物联网终端设备等。Gemma 4模型支持业界通行的Apache 2.0许可,开发者可更自由地使用、修改和分发该模型。通过与谷歌Pixel硬件团队以及高通、联发科等移动终端芯片平台企业合作,谷歌试图让Gemma 4端侧模型在更多安卓移动设备(尤其非高运存设备)上实现"近乎零延迟"使用体验。可以预见,随着未来旗舰手机运行内存迈入16GB阶段,端侧模型将凭借更多、更强、更高效的技能表现以及更大的本地知识库信息储备量,给用户带来全方位加强版体验。