人人都渴望拥有强大的DeepSeek模型，但并不是每个人都能轻松应对其庞大的显存需求。为了解决这个问题，研究人员提出了一种全新的无损压缩框架——动态长度浮点数（DFloat11）。这种框架旨在大幅降低大规模语言模型（LLM）的显存占用，同时确保模型的输出分布与未压缩模型保持一致。
量化技术是一种降低模型显存需求的有效方法，但它本质上是一种有损压缩技术，不可避免地会对模型的输出分布产生影响，进而降低LLM的准确性和可靠性。与此不同，DFloat11框架实现了LLM的无损压缩，确保模型的精确性和完整性。
为了支持高效的GPU推理，研究团队开发了一种定制的GPU内核，专门用于实现快速的在线解压缩。该内核采用一系列创新技术，如内存密集型查找表（LUT）的紧凑存储、双阶段解码机制以及Transformer Block级的解压缩等，最大限度地降低了解压缩延迟。
在多个SOTA模型上的实验结果表明，DFloat11框架不仅能够有效地压缩模型的大小，还能保持完全一致的输出结果。与将模型部分数据卸载到CPU的方案相比，DFloat11在Token生成任务中实现了显著的吞吐量提升。
特别值得一提的是，DFloat11成功实现了Llama-3.1-405B这一大型模型的无损推理。该模型拥有庞大的参数规模，采用16位的BFloat格式进行推理时超出了典型GPU服务器的容量。通过DFloat11框架的无损压缩，该模型得以在单节点上完成完整的推理任务。
那么，为什么要对LLM进行无损压缩呢？现有的有损压缩技术虽然能够在一定程度上降低模型的存储和传输成本，但它们往往会对模型的性能产生负面影响。相比之下，DFloat11框架通过无损压缩技术，能够在保证模型性能的大幅降低模型的存储和计算需求。这对于推动LLM的普及和应用具有重要意义。
为了实现对LLM权重的无损压缩，研究团队深入分析了最新LLM权重中BFloat16的各个组成部分的可压缩性。他们使用香农熵来量化LLM线性投影矩阵中参数的信息量，并发现指数部分的可压缩空间较大。基于这一发现，他们提出了一种利用熵编码对浮点参数进行编码的无损压缩框架——DFloat。
为了解决LLM权重在BFloat16表示中存在的信息冗余问题，团队构建了庞大的LUT来实现高效的解码。为了克服LUT的巨大内存占用问题，他们将庞大的LUT分解成四个更小的LUT（LUT1、LUT2、LUT3和LUT4），从而将内存占用完全放在GPU SRAM中，实现快速访问。他们还设计了两阶段Kernel和轻量级辅助变量来支持大规模的并行解码。
实验结果表明，DFloat11框架对多种最新LLM的压缩比达到约70%，相当于大约11位的有效位宽。通过一系列标准基准测试验证了DF11压缩的无损特性。DFloat11框架还显著提高了推理效率，降低了延迟，并允许更长的生成长度。
这项研究为大规模语言模型（LLM）的存储和计算带来了新的解决方案。通过动态长度浮点数（DFloat11）框架的无损压缩技术，研究人员成功降低了LLM的显存需求，提高了推理效率，为LLM的普及和应用奠定了基础。这项技术的进一步发展将有望推动人工智能领域的进步，为更多的应用场景带来便利和效益。
