预算有限适合用CPU吗?我拿三台机器实测过
上周有个读者私信我,说手头只有三千块,想跑本地大模型、顺便剪点片子,问我能不能全砸在CPU上,显卡以后再说。这问题我这两年听过不下十次,答案其实取决于你要拿它干什么,而不是CPU本身行不行。
先看跑AI这条线,CPU差了多少
我自己拿 i5-12400 加 32G DDR4 跑过 Llama 3 8B 的 Q4 量化版本,用的是 llama.cpp,输出速度大概每秒 2 到 3 个 token。读一段两百字的回答,得干等一分多钟。同一台机器换上二手 RTX 3060 12G,同样的模型同样的量化,能跑到每秒 35 个 token 左右,差了十倍不止。

原因不复杂。CPU 的内存带宽就那么多,双通道 DDR4 大概 50GB/s,显卡的显存带宽是它的好几倍。模型推理是典型的吃带宽的活儿,算力反而次要。所以你要是奔着跑模型去,CPU 只能算"能跑",离"好用"差得远。

这几种情况,CPU反而更划算
- 做数据清洗、爬虫、批量转格式这类活儿,多核 CPU 比显卡实在
- 跑向量检索、传统机器学习(XGBoost、LightGBM),CPU 完全够用
- 预算卡死在两千以内,先搭一台能开机的机器练手
- 视频剪辑只做 1080p、不加特效,核显加 CPU 也能应付

去年我帮一个做电商的朋友配了台机器,5600G 加 64G 内存,一共两千八,跑商品标题的批量处理和关键词聚类,一天处理几十万条,一点不卡。他压根没买显卡。这种场景里,把钱堆在内存和固态上,比买张入门卡划算得多。
我的建议是留条后路
如果预算真的很紧,买 CPU 不是错,但别把钱花死。主板选带 PCIe 4.0 x16 插槽的,电源留出至少 550W 的余量,机箱长度别卡太死。等你攒够钱,加一张二手卡就能直接起飞。反过来,为了省两百块买了小机箱小电源,到时候换卡还得整套重来,那才是真亏。
另外提一句,别信那种"CPU 跑 AI 已经够了"的说法。跑个 demo 可以,真拿它当生产力,等待的时间成本远超你省下的钱。我自己踩过这个坑,用 CPU 批量生成过一周的文案,电费没省下来,人倒是熬瘦了。
说到底,预算有限时 CPU 不是不能选,关键看你的活儿吃不吃带宽。跑模型、做渲染,攒钱上显卡;做数据处理、写代码、轻剪辑,CPU 先把活干起来,完全没问题。