6月,广和通宣布:率先完成通义千问Qwen3系列混合推理模型在高通QCS8550平台端侧的适配部署。广和通通过定制化混合精度量化方案与创新硬件加速算法,成功突破Qwen3新型架构在边缘侧的落地创新,为AIoT设备提供业界领先的端侧大模型支持。
通义千问Qwen3自4月底正式发布并全部开源8款「混合推理模型」,其模型性能在代码、数学、通用能力等多项基准测试中刷新纪录。其中,Qwen3-4B与早期版本的Qwen2.5-72B能力相当,在提升推理性能的同时,大大降低了端侧部署成本。同时,Qwen3系列模型还是首个支持混合推理模式(Hybrid Reasoning)的开源模型。开发者可以根据需求开启、关闭思考模式或指定思考长度,将人类大脑的“直觉反应”和“深度思考”能力装进了AI。
广和通完成了参数规模为0.6B/1.7B/4B/8B的Qwen3模型在边缘端的部署,以满足不同下游应用需求。针对Qwen3引入的QK-Norm改进注意力机制和混合推理模式,广和通设计了定制化的混合精度量化方案,动态识别模型结构特征,对Norm层、注意力模块等关键组件采用差异化量化策略。再者,广和通结合NPU特点优化推理结构,利用QCS8550芯片Hexagon DSP的矩阵加速单元,显著提升了大模型在边缘设备上的落地能力。
目前,广和通AI Stack已支持通义千问Qwen3- 0.6B/1.7B/4B/8B模型的量化和推理,为用户提供不同端侧场景应用的模型选择。AI Stack拥有完整AI工具链,集成易于部署的代码,可进行数据标注、模型训练、模型微调。针对模型移植,AI Stack提供模型转换、模型量化和算子替换等能力。再者,AI Stack的高性能推理引擎将训练、转换完成的模型高效部署在端侧并执行推理任务,从而在实际业务场景中实现多样化的AI应用。
广和通AI研究院院长刘子威表示:“广和通率先在端侧部署Qwen3,不仅是技术验证,更是边缘智能落地的典型案例能力。通过广和通自研的AI Stack,我们让机器人、AI眼镜、翻译机等端侧设备真正具备本地化复杂推理与决策能力。广和通将强化端侧AI的商业落地能力,为更多AIoT设备赋智。”
在线留言询价
型号 | 品牌 | 询价 |
---|---|---|
BD71847AMWV-E2 | ROHM Semiconductor | |
RB751G-40T2R | ROHM Semiconductor | |
CDZVT2R20B | ROHM Semiconductor | |
MC33074DR2G | onsemi | |
TL431ACLPR | Texas Instruments |
型号 | 品牌 | 抢购 |
---|---|---|
ESR03EZPJ151 | ROHM Semiconductor | |
STM32F429IGT6 | STMicroelectronics | |
TPS63050YFFR | Texas Instruments | |
IPZ40N04S5L4R8ATMA1 | Infineon Technologies | |
BU33JA2MNVX-CTL | ROHM Semiconductor | |
BP3621 | ROHM Semiconductor |
AMEYA360公众号二维码
识别二维码,即可关注
请输入下方图片中的验证码: