IT之家 11 月 10 日音讯，据华为麒麟官方公众号当天共享，基于华为 CANN（Compute Architecture for Neural Networks）端云协同架构打造的华为 PC 端 AI 闪绘功能近日认真落地，记号着端侧 AI 大模子愚弄迈入新阶段。

据先容，AI 闪绘是一种基于扩散模子的图生图技能，可字据现存图片与指示词生成相宜用户预期的新图像。该功能由华为 CANN 团队与生态伙伴悟空图像互助打造，两边围绕 SDXL（Stable Diffusion XL）模子的端侧部署张开合作，冲破了模子瘦身、多格调适配与算子优化等要道技能。

华为麒麟先容称，端侧 AI 大模子的部署遥远濒临三大挑战，包括：模子体积浩瀚：大模子参数鸿沟可达数十亿以致百亿级，端侧开辟濒临极度大的内存压力；推理延长高：端侧算力有限，复杂模子难以完了及时反应；格调单一化：单一模子难以得志用户万般化创作需求。

针对这些痛点，CANN 团队建议“瘦身 — 加快 — 纯真”三位一体技能旅途，依托 CANN 端云一致的异构预见架构及内置量化智商，两边团队通过混杂精度量化，将 SDXL 模子的体积大幅度压缩，同期高度保留原始精度。

IT之家从华为麒麟获悉体育游戏app平台，这一优化不仅能高效压缩模子在端侧的存储空间，还能使得推理时的内存带宽权贵减少。该有盘算推算已在麒麟芯片 NPU 完成考证，为端侧大模子的高效启动奠定了基础。