2023云栖大会：喜马拉雅珠峰语音生成式大模型亮相
喜马拉雅珠峰语音生成大模型是喜马拉雅的一项创新技术，具有快速定制语音音色和风格的能力。 该技术支持丰富场景下音色的实时转换，赋予语音创造性“变声”的能力，就像给语音涂抹不同的“颜料”一样。 此前，喜马拉雅珠穆朗玛峰实验室团队已通过AIGC创作了超过37000张有声读物专辑，AIGC作品日播放时长已超过250万小时。
图/喜马拉雅参加2023云栖大会
在云栖大会上，喜马拉雅展示了其自主研发的珠穆朗玛峰大型语音生成模型。 这个大型模型是喜马拉雅珠穆朗玛峰智人团队和西北工业大学ASLP实验室的合作成果。 基于自研框架，实现统一框架下音频和文本的密集训练。 用于语音生成任务，可以实现零语音风格和音色。 镜头的学习和迁移可以实现风格和音色的任意组合。 同时，喜马拉雅基于阿里云数据湖3.0构建的云原生大数据平台，为大型语音模型训练提供了大量优质数据，这对于喜马拉雅大型语音模型来说是不可或缺的。 “数据引擎”。
图/观众参观2023云栖大会喜马拉雅展台
喜马拉雅首席科学家、珠穆朗玛峰实验室负责人卢恒表示，“喜马拉雅的大规模语音生成模型取得了重大突破，在音色定制方面实现了5秒内声音的‘极速克隆’。通过该模型利用极少量的数据，可以克隆出相似度高达90%的基本音色，并在短短10秒内快速生成定制音频，未来该技术将应用于短视频创作、数字真人配音、人机交互等领域。对话、复制品等名人IP领域有望发挥巨大的潜在价值，有效解决商业场景中的沟通需求痛点。”
喜马拉雅珠穆朗玛峰实验室高级产品专家卢锐涛现场介绍：这个大型语音模型采用了基于语音向量和语义标签的新型语音编解码器。 语音向量包含用于高保真语音重建的声学细节，语义标签（LLM）在语言建模中关注语音的语言内容，最终实现最具表现力的语言和语言的语音（对话）内容的高效生成。最高保真度。 从应用场景来看，这个大型语音模型可以应用于语音内容生成、口语对话、语音音色实时转换、说话风格迁移、语音到语音跨语言翻译、说话人匿名化等各种任务。 。
喜马拉雅还将在云栖大会上展示其第二代智能语音交互系统。 该系统基于阿里云“同易千文”大模型，以喜马拉雅儿童形象代言人“波波”为核心，增强其自然连贯的对话能力，凸显“波波”IP形象特色。 该智能语音交互系统通过喜马拉雅儿童APP和喜马拉雅提供服务，波波球为家庭和亲子用户提供陪伴对话功能。
图/2023云栖大会观众体验“5秒极速克隆”
作为云计算产业发展的见证者、参与者和推动者，云栖大会自2009年以来，见证了中国技术从网站、移动互联网到云计算、人工智能的演进。今年的云栖大会将全面展示云计算生态。云计算产业，同时重点展示通用人工智能原生应用和大模型的先进成果。 今年的主题是“计算，创造不可估量的价值”，设有两大主论坛和500多个热点话题。 邀请了1000多名行业从业者，带来了500多场主题分享和互动，更多的方式促进了不同人群对云创新的深入理解。
作为深受用户喜爱的在线音频平台，喜马拉雅一直坚持用科技赋能文化。 近年来，喜马拉雅在AI语音技术领域取得了突出的成就。 成立的喜马拉雅珠穆朗玛峰实验室专注于语音合成、语音识别、语音信号处理、编解码和智能音效的研发。 喜马拉雅在多模态AIGC、软硬件集成等领域取得了丰富的成果。
此前，喜马拉雅珠穆朗玛峰实验室利用AIGC技术，还原了已故评书大师单天放的声音，并用他的AI合成声音对经典进行了全新演绎。 单天放先生的儿子单瑞林对AIGC的声音表现赞不绝口。 他说，当他听到AIGC的声音时，感觉就像他的父亲回到了这个世界。 云栖大会期间，通过大型语音对话模型训练的艾山天放也用英语向观众打招呼。 目前，AIGC制作的《山田芳声音再现》系列专辑已突破100张，在喜马拉雅平台累计播放量超过1亿次。
图/喜马拉雅山珠穆朗玛峰语音生成大型模型在2023云栖大会上亮相
AIGC技术的一大特点是提高内容生产效率，降低内容生产成本，为创作者和用户提供更多可能性。 通过业界领先的TTS技术，喜马拉雅成为AIGC在音频领域的先行者。 喜马拉雅用户在收听音频内容时，实现了“听看”、“听看合一”的内容消费体验，并可以在收听页面同时阅读相应的文字内容。 对于创作者来说，喜马拉雅AI工具“云剪辑”是业界首款在线多轨剪辑轻应用，大大降低了内容创作门槛，提高了创作效率。 《喜云音坊》还推出了40多种AI音色，并与优质喜马拉雅主播合作。 例如，语音主播“一刀苏苏”用真人声音打造了“苏小刀”AI音色。
未来，喜马拉雅将持续利用AI技术提升内容生产效率，为用户体验增值，用科技赋能声音，为用户的生活提供更多可能。 2023杭州云栖大会将成为数字化和科技浪潮中的重要盛会，向世界展示云计算和人工智能的最新成果，而喜马拉雅的参与和展示也将为大会增色不少，为云计算和人工智能的发展做出贡献。未来科技与文化的融合。 添加一个明亮的音符。
