大千世界,会是“大模型”与“千人千面”么
风已至,“会有大风破浪的时候,可以直接挂帆,助航渡海”。
2023年的手机行业已经到达了久违的十字路口。
据 The Information 报道,OpenAI CEO Sam Altman 正在与著名 iPhone 设计师 Jony Ive 讨论开发新型 AI 硬件设备的可能性,进一步将业界将大型 AI 模型与手机结合的想象推向高潮。 联发科近期还宣布,天玑 9300 在该设备上实现了 70 亿参数的 AI 预测模型,并成功在该设备上运行了 130 亿参数的 AI 预测模型。 高通今年发布的两款新品骁龙X Elite和骁龙8 Gen 3芯片分别对应以PC和智能手机为代表的移动设备,并宣布实现了百亿参数大型模型的本地运行。
从云端到终端。 AI大模型发展风起云涌,末端实现大模型是必然。 业界一致认为,“手机装大机型”有望成为用户体验大幅升级的新增长点。 大机型是不是只要在手机上推出就可以抓住潮流,一路走红?
将大机型装入手机只是第一道门槛。 优化大型模型的设备端体验之路才刚刚开始。
世界会是“大模子”、“千人万面”吗?
11月16日,2023OPPO开发者大会将在上海世博中心举行,ColorOS 14将在会上发布。 同台亮相的AndesGPT是OPPO自主训练的大模型。 包含从10亿到1000亿以上不同参数大小的模型规格,可以灵活支持多样化的应用场景。 作为OPPO AI战略的核心引擎,AndesGPT正在全面赋能OPPO智能终端,为用户带来全新的个性化专属智能体验。
即将发布的AndesGPT突出了三个层次的标签:“千亿参数的对话增强语言模型”、“具有知识、记忆、创造和工具能力的智能代理”和“端云协同全场景”。场景智能调度”。
事实上,“端云协同”已经成为手机厂商跨越“第一道门槛”的共同思路。 某种程度上,是行业推广大型模型体验的必备要素。 云端可以解决需要大算力、大参数模型的场景问题,而手机则负责数据安全性要求高、实时性要求高、网络环境较弱等轻量级大模型使用场景。 AndesGPT还将创新智能终端的技术架构设计,提供端云分工、端云互补、端云协作等多种工作模式。
而“个性化专属”已被置于AndesGPT的定位层面。 之所以强调“个性化大机型”,或许是因为OPPO看到了手机机型的必然进化路径——服务于每一个个体消费者,实现真正的“万人千面”体验。
11月7日,AI行业“科技春晚”暨OpenAI开发者大会宣布了GPT-4 Turbo的一系列升级。 正如出席会议的科技博主 Dan Shipper 所写:“OpenAI 让任何人都可以轻松构建自己的 ChatGPT 自定义版本,内置私有数据,无需编程。 任何人都可以设置具有自己个性和访问私有知识的能力的 ChatGPT 版本。 这是一个重大进步。”
OPPO想要做的,也是行业领先者正在做的,就是在大机型层面实现真正的个性和专属。 并基于对话这一最常用的沟通方式,进行了针对性的增强。
长途跋涉的收获,来自于走过很久的方向
AndesGPT是OPPO晶心智能云团队打造的基于混合云架构的大型生成模型。 重点构建汉语会话数据中的持续学习、指令微调、人工反馈强化学习、知识增强的能力。
在SuperCLUE 9月份的十大基础能力排行榜中,OPPO Andes GPT的“知识百科”能力仅次于GPT4,位列国产大机型第一,“角色扮演能力”跻身前三。
OPPO曾向外界提出,大模式不会是toB,而是toC。 通过整合“用户画像、态势感知、个人数据”等信息,为用户提供“个性化、可定制的体验”。 我们希望用户感受到大模型是专属的,是为他们定制的,从而最大程度地满足用户对大模型的需求和期望。
例如OPPO手机上的小步助手就是实现大机型“个性化专属”能力的重要应用。 在AndesGPT的支持下,小布为数千人提供个性化推荐和主动建议,并根据与不同用户交流中积累的记忆特征进行内容生成和创作。 无需每次都重复描述您的需求,小布能周到地想到您的每一项喜好。
每一次积累也是AI技术的进步
晶心智能云早已为AndesGPT积累了数据、人力、算法、算力等多个维度的优势。
自2020年起,晶心智能云团队开始探索和实现预训练语言模型,并自主研发了1亿、3亿、10亿参数的大规模模型OBERT。 OBERT 还一度跃居中文语言模型榜首,在理解评估基准 CLUE1.1 总体排名中排名第五,在大规模知识图谱问答 KgCLUE1.0 排名中排名第一。
数据方面,OPPO在打造月活跃用户过亿的C端产品小步助手的过程中,也完成了大规模优质语料数据的积累; 并依托其对全球6亿用户的服务,完成了用户画像、态势感知等相关基础数据的端云积累。
规划好时间,不急于成为第一,只种因
事实上,OPPO在AI的技术路线上一直保持着“长远主义”的决心。 消费电子是承载智能化的重要领域,智能化也将助力消费电子走向新的发展阶段。
在研发初期,OPPO开发者在大模型底层孜孜不倦、反复耕耘,以期在研发道路上获得更深入、更细致的积累。 “不急于当第一”让技术更加接地气,包括“预训练、指令微调、人反馈强化学习、海量中文对话数据、高质量知识图谱、高质量QA问答数据”等复杂的技术实践。
据今年7月的一篇技术文章称,OPPO的预训练大模型解决方案主要采用了知识增强。 知识增强可以理解为数据增强。 而且预训练模型缺乏先验知识,因此将知识融入到预训练模型中是一种非常有效的方法。 在做模型预训练时,OPPO还建议使用基于开放领域语料库的开放领域知识图谱,帮助模型提升整体泛化能力。
在数据体量方面,OPPO研究院构建了近5.56亿的高质量知识图谱,并采用了“预训练”和“知识整合”两个模块,更好地将知识融入到预训练模型中。
而且,作为行业领先的智能终端制造商,OPPO凭借服务全球6亿用户的经验和多年的相关技术积累,打造了坚实的大机型技术基础。
回顾过去10年的消费电子,也出现了“智慧”这个表述,但“智慧”的属性更多体现在随心所欲、猜你所想。 未来大模型下的智能体将是在法律安全框架下自主感知、自主决策、主动行为。 更加拟人化、人性化的智能将呈现更加多样化的形态和功能,满足不同领域、行业的需求。 高效可靠,能够在更短的时间内完成更多的任务,同时也更好的保证了任务的准确性和稳定性。
未来,OPPO将把大模型能力与智能代理相结合,深度融入到各类终端产品和系统应用的底层架构中,带来全新的智能交互体验。 作为OPPO的对话式智能助手和超级终端入口,小步助手也被认为是安第斯大规模模型应用落地的最佳实验场和技术突破口。
“智慧”指向未来,眼光要长远
展望未来,AI大机型在手机上仍然有非常广阔的发展空间,像“新小布”这样的AI App和智能应用将会越来越多。 不用说,手机厂商天然拥有开放软硬件底层能力的优势。 OPPO作为领先品牌,也将与开发者一起,不断将大模型技术与Agent结合起来,实现实际的用户体验,将自己对大模型的理解付诸实践。 与行业和用户分享理念和技术生态。
即将推出的ODC引起了业界的广泛期待。 OPPO将如何打造“个性化、专属的大机型服务”,又将如何定位自己在大机型技术生态中的价值和角色?
或许OPPO为这些问题准备的答案会带来新的想象和启发。
继续阅读: