阿里云开源通义千问720亿参数模型Qwen-72B
这是统一钱文自发布以来第三次发布开源模型。 早在8月3日，阿里云就宣布开源统一钱文70亿参数模型，包括通用模型Qwen-7B和会话模型Qwen-7B-Chat。 随后，9月25日，阿里云开源了统一钱文的140亿参数模型Qwen-14B及其会话模型Qwen-14B-Chat，免费用于商业用途。
今天，阿里云还宣布首届“同易千问AI挑战赛”启动。 参与者可以免费玩通易开源模型家族，包括刚刚发布的720亿参数模型Qwen-72B。
主办方为参与者提供价值50万元的免费云算力以及丰厚的奖金。 比赛分为算法和智能体两大赛道。 前者专注于统一钱文大模型的微调训练，希望通过高质量的数据探索开源模型的代码能力上限。 后者鼓励开发者在统一钱文的大型模型和Magic的基础上进行开发。 利用社区的Agent-Builder框架开发新一代AI应用，推动大型模型在各行各业的应用。
业界最强开源模型，部分性能超越GPT-4
在大模型市场，阿里云正在形成两条腿走路的局面：开源和闭源。
一个月前，在2023云栖大会上，阿里巴巴首席技术官周敬仁宣布统一钱文2.0正式升级发布。 据介绍，近期已升级至2.1版本，上下文窗口长度扩展至32k，代码理解生成能力、数学推理能力、中英文百科知识、抗幻觉感应能力提升30%、10分别为 %、近 5% 和 14%。 。 用户可以在统一钱文APP上免费体验最新版本的闭源模型。
从8月3日到12月1日，三个月的时间里，阿里云连续开源了多个统一钱文版本模型。 “未来速度”创始人秦绪野表示：“统一钱文的开源模式一出来就得到了支持。有一个客户工作在电商客服场景，用高质量的数据测试了几个大的开源模型。从能力上来说，他们觉得统一千文的表现是最好的。”
今天宣布，开源同易钱文720亿参数模型Qwen-72B基于3T代币高质量数据训练，在10项权威基准评测中获得开源模型最佳成绩，超越闭源GPT-3.5一些评价。 和 GPT-4。
（统一钱文720亿开源模型部分结果超越了闭源GPT-3.5和GPT-4）
英语任务中，Qwen-72B在MMLU基准测试中取得开源模型中最高分； 在中文任务中，Qwen-72B在C-Eval、CMMLU、GaokaoBench等基准测试中超越了GPT-4； 在数学推理方面，Qwen-72B在GSM8K中取得了最高分，MATH评测领先于其他开源模型； 在代码理解方面，Qwen-72B在HumanEval、MBPP等评测中的表现有了很大的提升，编码能力有了质的飞跃。
据介绍，Qwen-72B可以处理高达32k的长文本输入，并且在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16k的成绩。 研发团队对Qwen-72B的指令跟随、工具使用等技能进行了优化，使其能够更好地与下游应用集成。 例如，Qwen-72B就配备了强大的系统命令（System Prompt）能力。 用户只需一句提示词就可以定制AI助手，要求大模型扮演某一角色或者执行特定的回复任务。
（用户只需一句提示词，即可打造属于自己的AI助手）
此前，在中国大型模型市场上，还没有一款能够与Llama 2-70B竞争的高品质开源模型。 Qwen-72B填补了国内空白。 凭借高性能、高可控性、高性价比的优势，提供了不亚于商业闭源大型机型的选择。 基于Qwen-72B，大中型企业可以开发商业应用，大学和科研院所可以开展AI for Science等科学研究。
随着Qwen-72B的开源，统一钱文还开源了18亿参数模型Qwen-1.8B和大型音频模型Qwen-Audio。 如果Qwen-72B“向上”，则提高了开源大型模型的尺寸和性能天花板； 发布会上另一款开源机型Qwen-1.8B“向下伸手”，成为最小的中国开源大机型，推断2K长度的文本内容只需要3G显存，可部署在消费级终端上。
大型音频模型Qwen-Audio可以感知和理解人声、自然声音、动物声音、音乐声音等各种语音信号。 用户可以输入一段音频，要求模型提供对音频的理解，甚至可以根据音频进行文学创作、逻辑推理、故事延续等。 音频理解可以赋予大型模型接近人类的听力能力。
率先实现全面开源，坚持生态开放战略
“如何选择合适的模特”是“模特群舞”时代开发者不得不深入思考的问题。
今年刚刚毕业的严鑫是华东理工大学XD实验室的成员。 据他介绍，团队主要专注于社交计算和心理情感领域的人工智能应用开发。 他表示，他们在选型时主要关注三个问题。 首先是是否可持续。 他承认他们没有资源从头开始训练基础模型。 从市场上选择模型首先考虑的是其背后的组织是否能够很好地背书该模型，是否可以继续投资基础模型及其生态建设。
第二个重点是是否有生态系统。 他们希望选择一个主流且稳定的模型架构，能够最大限度地发挥生态系统的力量，并匹配上下游环境。 最后一个是是否满足场景的需求。 严鑫表示，不同厂家的车型有不同的个性。 从知识结构上来说，有的模特像文科生，有的模特像理科生。 在心理学领域，需要的是温柔、智慧和同理心的大典范。
基于这三点考虑，XD Lab选择了统一钱文大号模型。 基于开源同易钱文开源模型，开发了心理健康大模型MindChat（漫谈）、医疗健康大模型孙思邈（孙思邈）、教育/考试大模型。 模型GradChat（Koi）等，并基于大行业模型为下游客户开发产品。
阿里云是国内第一家开源大型自研模型的科技公司。 8月以来，开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。 多个模型先后出现在HuggingFace和Github大模型列表中，并受到中小企业和个人开发者的青睐。 累计下载量已超过150万次，催生了150多个新模型和新应用。 发布会上，众多开发者伙伴到场分享了使用Qwen开发专属模型和具体应用的实践。
严鑫还表示，Qwen-7B和14B发射后，团队迅速利用内部数据和自己的基准进行实验和评估。 在他们的场景中，统一钱文在所有开源模型中表现最好，是当前的最优方案。 尤其是在复杂的逻辑推理方面，同义谦文表现出了很强的能力。
对于此次Qwen-72B的开源，严鑫甚至毫不掩饰地表示：“我对72B型号抱有很大的期待，很好奇72B在我们领域的能力极限。”
从18亿、70亿、140亿到720亿参数尺度，统一钱文成为业界首个“全尺寸开源”的大模型。 开发者和用户可以在Moda社区直接体验Qwen系列模型效果，通过阿里云灵机平台调用模型API，或者基于阿里云百联平台定制大型模型应用。 阿里云人工智能平台PAI深度适配统一钱文全系列模型，推出轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。
阿里云CTO周敬仁表示，开源生态对于推动中国大模型的技术进步和应用落地至关重要。 统一钱文将持续投入开源，希望成为“AI时代最开放的大模型”，与合作伙伴一起推广大模型。 示范生态建设。
