南宫28官网,南宫28官方网站,南宫28APP下载

　　譬如一些已经依赖AI助手的用户关注持续token消耗能力以及长本文积累能力，已经尝试了树莓派，但是算力严重不足，能跑卷积模型（主要用于图像识别等任务的神经网络模型），但跑大模型基本不可用；使用过专为边缘计算设计的NVIDIA Jetson系列，但高性能如64GB版的AGX Orin，开发板本身在美国市场官方定价为1999美元，国内商城报价约17599元人民币，还需要自己额外买SSD存储，价格十分高昂。

　　其中，GPU（图形处理器）算力强、速度快，但成本高、功耗大；而CPU（即系统级芯片SoC中的通用计算单元）算力相对较弱，但功耗和硬件要求更低。Tiiny的策略是将冷激活参数放在SoC（Armv9.2 CPU+NPU 30TOPS）中处理，将热激活参数放在dNPU（160TOPS）中处理。Tiiny AI 采用的dNPU是专门为Transformer架构设计的ASIC（专用集成电路），去除了图形渲染等无关电路，专为大模型推理优化。

　　通俗来讲，PCIe相当于芯片之间传输数据的“高速公路”，PCIe Gen4 x4这条“路”的限速约为8 GB/s。但Tiiny指出，这个限速只适用于大批量数据传输的场景。而冷热激活参数的合并，实际传输的数据量极小。Tiiny AI以GPT-OSS-120B为例解释，这个模型每次需要跨PCIe传输的数据仅约5.625 KB，传输耗时只有毫秒级的一小部分。由于数据量远低于带宽上限，PCIe链路并不会成为合并过程的瓶颈。