通义大模型落地手机芯片

云财经讯，阿里云与知名半导体公司MediaTek联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台。这意味着手机AI体验将迎来重大提升，用户可在手机上离线流畅运行即时且精准的多轮AI对话应用。与此同时，连续推理功耗增量不到3W，显示出了出色的能效表现。此举标志着通义大模型首次完成芯片级的软硬适配，仅依靠终端算力即可获得优异的推理性能和功耗表现。这一技术突破意味着Model-on-Chip(片上大模型)的商业化正式迈出了重要一步。