Erwin Wu

[定位语待定：一句话说清你是谁]

新短帖其实我们手头有不少端侧算力（是可以利用起来的，像手机、平板电脑，甚至家里的路由器、电视机顶盒、智能电视，都可以部署一些简单的端侧模型。 以前厂家受技术限制，在这些设备上只能做一些简单的语音识别路由功能。现在完全可以把它们利用起来，部署一两个 B的小模型，应付日常语音识别和简单的本地工作。 但最大的问题是，端侧芯片五花八门，现成的推理软件没有为它们写过加速代码，你需要借助 AI 把模型部署到具体芯片上做加速推理，内存不够还要做参数的按需加载。 这两天上 Hacker News 首页的开源项目 smolmaxxing，干的就是这件事。 作者拿一台可用内存只有 1GB 的小米电视盒，跑动了 160 亿参数的 Ling-mini-2.0，每秒出 5.1 个 token；换成 20 亿参数的 Qwen3.5，每秒能出 7.7 个。连一台 2013 年的旧 iPad Air，可用内存约 700MB，跑 17 亿参数的压缩版模型，每秒也能出 24 到 26 个 token。 他的解法是两招： 一是给没有现成加速代码的老芯片手写专用加速内核，补丁打在 llama.cpp上，因为原版根本读不了他改过的模型文件 二是模型不整个塞进内存，常用的部分留在内存，其余放在机身存储上，用到哪块读哪块，还提前把下一块读好。 https://github.com/hyperionaidev/smolmaxxing

拿一张名片

作品

3D 场景没有加载出来。可以直接点下面的物件，或者看简洁版。

放回桌面