通义千问开源首个MoE模型

原文发布时间: 2024-03-29 18:43 来源: 云财经影响力评估指数：23.75

消息收藏夹收藏已收藏

云财经讯，根据阿里通义千问官方微博消息，通义千问团队发布了首个MoE模型，命名为Qwen1.5-MoE-A2.7B。该模型仅包含27亿个激活参数，但其性能与目前公认的最先进的70亿参数模型(如Mistral 7B、Qwen1.5-7B等)相当。

新闻标题	时间	消息来源	新闻热度