相比猛堆料的水桶旗舰芯片RK3688,我觉得RK1820和RK1825系的这两颗芯片才是最有意思的。
他的定位应该是“端侧AI计算卡”,称它一句“端侧英伟达”或者“端侧寒武纪”不足为过。
首先,它是多个RISC-V核带20T NPU算力,什么RISC-V核没说,但也不重要,重要的是RISC-V核带NPU这个组合。
作为协处理器,它完美解决了“RISC-V生态不好”和“CPU算力不够的问题”,系统软件部分就交给主处理器,通过PCIe2.0和USB3.0等高速接口和主处理器进行通信。
CPU用RISC-V成本更低,包括IP授权费和面积都会略低,又能满足国产化、自主可控的要求。
NPU够猛,RK1825能跑7B的端侧大模型,定制化场景端侧AI够用,搞个AI玩具啊、学习机啊、情感配备助手啊、终端家庭玩具甚至机器人,都说够的。
哄小学生可能不行,但是哄大学生绰绰有余 。
这一代的DRAM带宽已经到底了百GB/s的级别,端侧模型输出突破百token/s,端到端响应延时最低可达0.1秒 。
更有意思的是下一代RK1860,是和兆易创新进行了合作,3D chiplet堆叠,存储直接叠在NPU下面,已达到最快速度。
这个是真的chiplet实际应用,不是之前光吹概念的那种,因为带宽确实是端侧SoC AI的一个瓶颈,这就很好地解决了这个问题。