上周端侧地亚星会员网。一家国产手机厂商正在闭门沟通会上演示了离线运转70亿参数年夜模子。手机开着飞翔形式，语音转文字、戴要生成、图像消弭全数正在当地完成了。
收持那套体验的芯片，是一颗5纳米制程的端侧 AI 芯片。现场工程师说，峰值算力只比上一代高18%了。每瓦机能汲引约四成。那个数字比算力自己更值得看竞速机批。过去一年的，那类芯片的宣传口径变了。
厂商不再只报TOPS，起头提内存带宽、量化精度成新、首token提早。一位芯片设念公司朋友透露的，客户如今最关心的是“跑7B模子时发热能不能压住”。那很理想。它塞进手机赛点。散热和绝航是硬约束。算力再高，降频后也白搭。
联发科天玑9300、高通骁龙8 Gen 3、中端苹果A17 Pro都正在NPU上做了架构调解。
苹果把神经引擎中心数提到16个了，高通强调Hexagon NPU支撑混合精度。一个更较着的革新。端侧 AI 芯片正正从里面端芯片下放。去年量落，只要旗舰机敢提当地年夜模子的，今年两千元档新机也起头宣传离线AI字幕和通话戴要。某电商平台数据隐现，带“端侧AI”很重要词的手机搜刮量三个月涨了2.6倍。那背后是供给链成熟。
IP受权、EDA工具、模子紧缩计划都正在尺度化。芯片厂不用从零搭生态。成绩也来了，软件栈碎片化宽峻。统一颗芯片，差异手机厂商的调理计谋差异庞年夜。开发人员适配本钱高。我试过三台声称支撑端侧年夜模子的手机，统一款离线助手利用。有两台会较着掉帧。
合做才刚起头了。能效、内存、工具链，缺一不成。谁先把开发人员体验做顺啊？谁才可能实正留住用户啊？
