今天用 Qwen 3.8 27B 写代码的时候,和一个用户聊了一晚上,分享一下我对离线 AI 设备的看法。
成本账:深度用户才划算
深度 AI 用户,7x24 小时地用,跑长线任务,肯定硬件划算,一年就赚钱。但是你平常用线上 API 都不超过 2000 块,确实离线 AI 设备帮不了你。
Mac:Decode 优秀,Prefill 很弱
Mac 的显存带宽和 Decode 能力非常优秀,但是 Mac 的 Prefill 非常差,并发也很差,CUDA 不支持。Mac 从来不说这些,所以买东西要理性,多看多对比,理性选择自己想要的东西。
买设备是买认知
你只用线上 API,你在 AI 上的认知就和所有用线上 API 的人的认知是一样的,而 AI 未来的发展一定会让每家每户都有离线 GPT。你早一天用离线设备,就早一天获得竞争性优势,因为你比别人更懂离线 AI,就跟 20 年前你比别人更早玩电脑编程一个道理,那时候大家都还在犹豫要不要买一台笔记本?
所以,买 AI 设备,不能光看成本,要看你能用自己的设备做出哪些不一样的产品来?离线 AI 设备的目的不是否定在线 AI,而是在在线 AI 也用的情况下,你能通过折腾离线 AI 设备获得哪些未来在社会上的竞争力?
简单来说,买设备从来都是投资,而不是省钱,只比省钱是没法赚钱的。