张小明
前端开发工程师
前置知识：第18篇（模型量化）/ 第19篇（vLLM 推理引擎）
想象一下：你的手机里跑着一个 70B 模型，离线、隐私、零延迟——这就是端侧推理的终极目标。
端侧推理与服务器推理有本质的不同：
| 服务器推理 | 端侧推理 | |
|---|---|---|
| 瓶颈 | 算力（GPU 计算） | 带宽（内存速度） |
| 显存 | HBM（~2TB/s） | DDR/统一内存（~100GB/s） |
| 量化 | INT8/FP8 | INT4/Q4_K_M(极端) |
| 最优 batch | 尽可能大 | 1（批处理收益低） |
| 目标 | 最大化吞吐量 | 平衡速度与隐私 |
1. 一场真实发生的开源协作现场：2014年“奶酪冲刺”到底干了什么？你可能在Plone社区的旧闻里见过“Cheese Sprint”这个词，甚至在Planet Plone的RSS订阅里扫过一眼标题——但那行字背后，是三十位开发者围坐在威斯康星州奥什科什大…
李华
大量用户检索会议录音 APP 时集中提出四类核心疑问，免费版录音转写时长是否够用、安卓苹果机型是否存在录音闪退、一键录音功能能否后台常驻、线下无网络场景是否完整留存会议内容。多数使用者在工具选型阶段频繁遭遇功能冗余、隐藏付费解锁刚需模块、手机权限拦截录…
李华
HiveWE终极指南：如何快速创建魔兽争霸III地图的完整教程 【免费下载链接】HiveWE A Warcraft III world editor. 项目地址: https://gitcode.com/gh_mirrors/hi/HiveWE 你是否曾经因为魔兽争霸III原版地图编辑器的卡顿而失去创作热情？是否在复杂的…
李华
1.命名管道命名管道FIFO是一种通过文件路径标识的特殊文件，能够为不相关进程提供流式通信能力，任意进程只需要通过统一路径打开该文件即可实现跨进程数据交换其内核缓冲区独立于创建者生命周期存在，但本质仍是无消息边界的单向字节流通道。1.…
李华
刷 LeetCode 的时候，经常会看到这样一行代码： key .join(sorted(s))第一次看到这行代码，很多人都会愣一下： “这什么东西？空字符串、join、sorted，怎么还三件套组合技？” 别急，这行…
)` 到底是什么意思？)
李华
一、实验目的本实验基于实验7-1和实验7-2输出的数据表，使用助睿BI完成多维度可视化探索。实验重点是通过指标卡、排名图、标题影响分析图和趋势图，对自媒体作品运营效果进行展示与解释，并最终形成综合仪表盘。本实验使用三张数据表构建数据集…
李华