华为 AI 模型量化相关专利公布，可减少模型占用内存

华为技术有限公司公开了一项关于人工智能模型量化的新专利。该专利通过将量化矩阵分割成多个分块量化矩阵，并基于计算单元的处理粒度进行量化处理，以减少 AI 模型占用的内存。量化矩阵可以是权重矩阵或激活矩阵，且该方法可以实现对权重矩阵和激活矩阵的实时量化。