news 2026/10/21 2:30:36

【LLM技术全景】第41篇 边缘设备部署：手机与IoT设备上的LLM

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【LLM技术全景】第41篇 边缘设备部署：手机与IoT设备上的LLM

系列：《LLM技术全景：从Token到部署》工程实践篇第9篇
承接：第40篇《本地部署实战（二）：GPU部署与多卡推理》｜ 预告：第42篇《多模态模型部署：视觉语言模型的服务化》

摘要

  • 核心问题：第 39、40 篇我们把模型装进了 PC/服务器的 GPU——但现实里更多推理发生在"口袋里"：手机、车机、IoT 网关、工厂边缘盒子。这些设备的约束从"显存"变成了"内存 + 功耗 + 散热"，一套全新的部署范式登场。
  • 主要贡献：梳理端侧推理的硬件光谱（从树莓派到骁龙旗舰到车规 Jetson）；横向对比 MNN / NCNN / llama.cpp / MLC LLM / Core ML / LiteRT 六大框架的定位与选型；给出 1B–4B 小模型在端侧落地的量化、上下文与功耗约束，以及一条可直接照抄的手机部署命令。
  • 阅读收获：
    1. 建立"端侧约束 = 内存 + 功耗 + 散热"的直觉，理解为什么手机上 4B 已是实用上限；
    2. 拿到一张按平台/模型类型选框架的决策表，避免"先写代码再返工"；
    3. 明确端侧 LLM 的真实能力与边界——它擅长离线草稿、翻译、摘要，替代不了桌面 70B。</
版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/10/21 2:30:23

【虎鲸进化论 34】它还在进化：进行时与可迁移 checklist

【虎鲸进化论 34】它还在进化&#xff1a;进行时与可迁移 checklist 本文是「虎鲸进化论」系列第 35 篇&#xff08;正文第 34 篇&#xff09;&#xff0c;也是卷Ⅲ「自进化实录」的最后一篇。上一篇&#xff1a;Token 经济学&#xff1b;下一篇预告&#xff1a;产能几百倍&…

作者头像 李华
网站建设 2026/10/21 2:30:09

给Agent接代码沙箱：六个容易踩的坑

给Agent接代码沙箱&#xff1a;六个容易踩的坑原文&#xff1a;GitHub - 《SPACE&#xff1a;给智能体跑代码的沙箱平台&#xff08;仓库与架构文档&#xff09;》&#xff08;https://github.com/perplexityai/space&#xff09;前言 让 Agent 写代码不难&#xff0c;难的是让…

作者头像 李华
网站建设 2026/10/21 2:30:09

率能半导体 SS6323H三相无刷直流电机驱动芯片：18V/2.3A，覆盖三相BLDC电机、风扇、泵、机器人等应用场景

在三相无刷直流电机&#xff08;BLDC&#xff09;驱动设计中&#xff0c;工程师通常需要构建三个半桥来驱动电机的三相绕组。传统方案需要三颗半桥栅极驱动器加六颗外置功率MOSFET&#xff0c;不仅占用大量PCB面积&#xff0c;还增加了设计复杂度和BOM成本。如果有一颗芯片能够…

作者头像 李华
网站建设 2026/10/21 2:30:05

HiL测试工程师的Simulink实战指南：从看懂模型到独立定位问题

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/21 2:30:03

Docker配置hosts导致服务无法启动的排查与正确实践

1. 问题现象与排查思路拆解1.1 这个报错到底在说什么先把场景还原一下。你在一台 Linux 机器上&#xff0c;为了让容器内部能通过某个自定义域名访问到指定服务&#xff0c;动手改了 Docker 的配置&#xff0c;比如往daemon.json里塞了hosts字段&#xff0c;或者直接改了/etc/h…

作者头像 李华
网站建设 2026/10/21 2:29:25

DynaHarness 方法总结

论文“DYNAHARNESS: A DYNAMIC PHYSICAL HARNESS FOR SELF-EVOLVING ROBOT AGENTS”&#xff0c;26年9月来自南洋理工和南京大学。一、动机用 VLA&#xff08;视觉-语言-动作模型&#xff0c;比如 π0.5&#xff09;给机器人提供动作先验&#xff0c;在长时程操作任务上仍然不够…

作者头像 李华