中国财经新闻网

您现在的位置是:首页 > 行业新闻 > 人工智能 > 正文

人工智能

联发科推出新款旗舰级5G生成式AI移动芯片天玑9300

财经网 2023-11-12人工智能
天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型……

联发科近期推出了全新旗舰5G生成式AI移动芯片天玑9300,它采用全新全核架构设计和新一代AI处理器APU,辅以联发科独特的先进技术,为生成式AI应用带来巨大收益。 强大的性能保障的同时,也为消费者带来丰富生动的生成式AI体验。 在AI生态系统方面,联发科已与AI行业多家企业达成深度合作,共同打造移动端丰富的AI生态系统。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_

全新第七代AI处理器APU 790,为生成式AI而生

随着用户对生成式AI应用需求的增长,设备端生成式AI的便利性、安全性等优势凸显。 当然,部署端侧AI大语言模型需要强大的AI算力支持。

天玑9300搭载联发科第七代AI处理器APU 790,专为生成式AI而设计。 它拥有硬件级生成式AI引擎,可以实现更快、更安全的边缘AI计算,并深度适配Transformer模型进行算子加速。 ,速度是上一代的8倍。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_

同时,APU 790的性能和能效也得到了显着提升。 整数运算和浮点运算能力均提升至上一代的2倍。 苏黎世ETHZv5.1 AI-Benchmark Mobile Soc得分为2109分。 AI性能成功霸榜,功耗更是降低了45%。 在强大AI性能的支持下,不到1秒即可生成图片。 天玑9300强大的AI算力、创新的全核CPU架构和Immortalis-G720 GPU,为设备上运行生成式AI奠定了坚实的性能基础。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型__天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

同时,基于数十亿参数的大型语言模型的特点,联发科开发了混合精度INT4量化技术,结合联发科独有的内存硬件压缩技术NeuroPilot Compression,可以更高效地利用内存带宽,并大幅降低大型AI模型占用终端内存。 设备上运行的AI大语言模型突破了手机的内存限制,有助于更大的参数模型在设备上实现。

综合以上,天玑9300率先在vivo旗舰手机上推出70亿参数AI大语言模型,处理速度高达每秒20个Token。 不仅如此,联发科还突破了行业限制,与vivo成功在设备端运行了130亿参数的大型语言模型。 就连天玑9300也率先在移动芯片上成功运行了330亿参数的AI大语言模型,领先业界。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_

天玑9300还支持多模态生成式AI大模型,打造“文升诗”、“文升图”、“文升趣图”等丰富有趣的端侧体验。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_

可见,天玑9300的AI算力和端侧生成式AI能力已经领先业界,足以让用户随时随地实现充分的AI创造力。

生成式AI模型端侧技能拓展,带来全面丰富的端侧生成式AI体验

与云端生成式AI解决方案不同,由于硬件环境的差异,部署端侧生成式AI还需要考虑手机内存、存储容量、负载限制等因素。 为此,联发科率先提出了先进的解决方案。

APU 790支持生成式AI模型端侧技能扩展技术NeuroPilot Fusion,可以在基础大模型的基础上在端侧持续进行低秩适应(LoRA,Low-Rank Adaptation)融合。 在混合AI的赋能下,可以在基础大模型的基础上,通过云端训练,在客户端完成N个功能的集成,赋予基础大模型更全面、更丰富的生成式AI应用能力。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型__天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

例如,基于AI模型端侧技能扩展技术,“图片GIF”功能可以让用户根据一张照片改变不同的风格甚至表情,打造个人风格的表情包,成为表情达人。秒。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_

AI开发平台NeuroPilot加速端侧生成式AI生态布局

基于强大的AI算力、先进的内存硬件压缩技术、AI模型端侧技能扩展等技术,天玑9300的APU 790将端侧生成式AI的速度和广度提升到了一个全新的水平。 同时,为了加速生成式AI在设备端的部署和普及,联发科还凭借其AI开发平台NeuroPilot构建了丰富的AI生态系统,从底层硬件到工具链、模型中心和开发生态系统,帮助快速高效地部署设备的生态系统。 生成式人工智能应用程序。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_

AI开发平台NeuroPilot支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型。

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型__天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

更重要的是,NeuroPilot拥有完整、先进的工具链。 除了NeuroPilot Compression低秩自适应融合外,还拥有Speculative Decoding加速和模型优化转换技术。

_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

联发科天玑开发者中心还可以为端侧生成式AI落地提供一站式开发者资源,分享端侧模型部署案例,提高开发效率。 目前已有超过20家生成AI合作伙伴加入生态共建。

联发科技还与行业合约合作伙伴合作,打造精彩的生成式 AI 应用体验。 虹软的生成式AI超分辨率技术基于天玑9300 APU的边缘计算能力,相比上一代可提升30%的性能。 在 25 倍放大倍率下拍摄时,可利用生成式 AI 超分辨率技术捕捉细节更真实的图像。

_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型__天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

极感科技的生成式AI语义搜索技术也是基于天玑9300 APU的边缘计算能力。 与上一代相比,性能可提升260%。 例如,在手机相册中搜索照片并描述照片的内容,则可以在毫秒内准确找到对应的照片。 而且,即使断网也可以进行搜索,您的隐私不会被泄露。

QQ图片20231109125729.png

QQ图片20231109125729.png

Morpho用于视频通话的实时数字化身生成技术也是基于天玑9300 APU的边缘计算能力。 与上一代相比,性能提升26%。 一般的头像生成器需要手动选择外观样式,并且需要时间。 但基于视频通话的实时数字化身生成技术,用户操作起来很简单。 他们只需要打开相机的单帧即可立即生成数字化身。

QQ图片20231109125729.png

基于天玑9300 APU的边缘计算能力,慧立生成式AI防眩光技术性能可提升60%。 在这项技术的支持下,无论在室外还是室内拍摄时有眩光,只需调暗即可消除眩光干扰。

QQ图片20231109125729.png

可以看到,在AI端云融合的趋势下,天玑9300展现了AI算力、生成式AI用户体验和生态的综合优势,为新一代旗舰端侧生成式AI体验树立了新标杆。 强大的生成式人工智能的基准是 Dimensity。

_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型_天玑9300生成式AI马上就能用,端侧已落地70亿参数AI大语言模型

围绕此,以联发科为首的生成式AI行业领导者,通过持续的技术创新和生态布局,推动混合式AI计算的发展,找到了独特高效的端侧生成式AI部署方式,全力致力于生成式AI计算。我们努力普及终端人工智能,让更多用户获得个性化的终端人工智能体验,打造综合智能新体验,让科技广泛惠及人民。

继续阅读: