文章总结与翻译一、主要内容该研究聚焦大型语言模型（LLMs）部署中的计算与内存挑战，针对现有训练后量化（PTQ）方法在极低比特宽度下精度损失严重的问题，提出了一种基于二次优化的分层高影响参数比例分配框架与混合量化策略，核心内容如下：问题背景：LLMs虽在自然语言处理任务中表现卓越，但亿级参数规模导致部署成本高昂；PTQ因低开销成为主流压缩方案，却受高影响参数影响，在2位、3位等极低比特量化时精度大幅下降，且现有方法采用固定高影响参数比例，忽略层间敏感性差异。核心方法：提出二次优化框架，基于Fisher信息矩阵估计参数重要性，考虑层间依赖关系，为每层分配最优高影响参数比例，而非固定比例。采用混合量化策略：高影响参数量化为中等比特宽度（如3位、4位），并使用AdaRound等先进量化方法优化；其余参数量化为极低比特宽度（如2位），采用OmniQuant等高效量化方法，平衡精度与计算效率。实验验证：在LLaMA-2-7B/13B模型上，通过WikiText-2、C4等生成任务（困惑度指标）和HellaSwag、PIQA等零样本任务（准确率指标）验证，在2位、3位量化场景下，性能显著优于GPTQ、AWQ、OmniQuant等现有SOTA方法，且消融实验证明分层最优比例与混合量化策略的有效性。二、创新点分