国内有文心一言、智谱清言APP,国外则有OpenAI的移动版ChatGPT,Llama 2手机版也在加急准备中。

现在,这一波智能终端大模型热潮之中,最底层的软硬件技术齿轮开始转动。

从高通到苹果,最新的芯片厂商发布会,无一不在强调软硬件对机器学习和大模型的支持——

苹果M3能运行“数十亿参数”机器学习模型,高通的骁龙X Elite和骁龙8 Gen 3更是已经分别实现将130亿和100亿参数大模型装进电脑和手机。

并且这不仅仅是已支持或跑通的数字参数,而是实实在在到了可落地应用的程度。

你以为这就是手机运行Stable Diffusion的速度极限了吗?显然不是。在上个月举行的2023骁龙技术峰会上,不到15秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙8(以下简称骁龙8 Gen 3)让速度飞升成为可能。

在峰会现场,高通用搭载了骁龙 8 Gen 3的手机运行相同的Stable Diffusion大模型,这次不到1秒(0.6秒)的时间便在本地生成了一张图像。从15秒到0.6秒,终端侧生成式AI大模型的进化速度让我们惊叹不已。