前段时间给手机升级系统，重启后弹出一个不太起眼的提示：「本机 AI 功能已就绪，可在离线状态下使用」。我没太在意，直到在地铁里没信号时，用语音让它把一段会议录音整理成要点——几秒钟后，结果出来了，全程没有网络。
那一刻我才意识到，模型已经悄悄从云端搬回了我的口袋。
云端很好，但有三件事让人犹豫
过去两年，我们用 AI 的方式基本是「提问—上传—等待—返回」。这条路之所以能成立，是因为云端有足够大的模型和足够多的算力。但它也有三个绕不开的问题。
第一是延迟。每次请求都要走一遍网络，再到机房里排队，高峰时段好几秒才吐第一个字，很打断思路。第二是隐私。你说的话、拍的照片、剪贴板里的内容，都要先离开设备，才能被理解。第三是成本。推理是要花钱的，用得越多，账单越厚，于是很多产品悄悄给免费用户设了额度。
这三件事加起来，就解释了为什么「把模型放到本地」这个老想法，现在又变得吸引人。
小模型突然够用了
端侧 AI 并不是新概念，早几年就有，只是效果一般。真正变的是模型本身。
一方面是训练方法在进步。同样的能力，可以用更少的参数装下：更干净的训练数据、更好的蒸馏方式、更聪明的对齐手段，让一个三十亿参数的小模型，在很多日常任务上表现得相当体面。
另一方面是量化。把每个权重从 16 位压到 8 位、4 位，模型体积能缩小到原来的四分之一甚至更小，而精度损失往往在可接受范围内。一部普通手机装上几个 GB 的模型文件，已经不算负担。
瓶颈其实在内存带宽
硬件这边也补齐了不少。这几年手机芯片里的 NPU 算力涨得很快，真正拖后腿的往往是内存带宽——模型每生成一个字，都要把大量权重从内存搬进计算单元，搬运速度直接决定了出字速度。
所以你会看到厂商在做两件事：一是把内存做宽、做快，二是尽可能让数据留在芯片内部流动。统一内存架构之所以被反复提起，原因也在这里：CPU、GPU、NPU 共用一块内存，省掉了来回拷贝的开销，也省了电。
现实中的答案：端云协同
不过，指望手机干完所有事并不现实。小模型的短板很明确：知识截止时间早、复杂推理容易掉链子、长文档处理吃力。
所以更实际的架构是分工。简单的、涉及隐私的、需要即时响应的——比如输入法补全、通知摘要、在相册里找某张照片、离线翻译——放在本地。复杂的、需要最新知识的、要长链条推理的——交给云端。
判断规则甚至可以是自动的：先本地试一下，拿不准再上云，用户几乎无感。
对普通人意味着什么
最直接的变化是「可预期」。响应时间不再取决于你的信号格数，地铁、飞机、电梯里都能用。其次是「数据不出设备」——从一个营销说法，变成了能验证的事实。飞行模式下依然能工作的功能，说明它真的没在偷偷上传。
代价同样存在。本地模型更「笨」一点，记得更少，遇到偏门问题更容易一本正经地胡说。它也更依赖硬件，老设备可能直接被排除在支持列表之外。而且它省下的是网络和隐私成本，代价是电池，这两者之间的账，厂商各有各的算法。
我不觉得端侧会取代云端，这更像一次分工的回归：把轻的、私密的、需要立刻回应的活留在身边，把重的、需要见多识广的活交给远处。真正的智能产品，大概率是两边配合的结果，而不是押在某一边。
下次手机再问你要不要开启「本机 AI」时，也许可以试着点开看看。至少在断网的时候，你会知道它还在。
文章评论