会懂网资讯：dKV-Cache机制为扩散语言模型推理速度难题提供高效解决方案-会懂网

5月24日消息，在人工智能领域，扩散语言模型（DLMs）虽展现出强大能力，但推理速度慢的问题一直制约着其广泛应用。近日，研究者针对此问题提出dKV-Cache机制，为该领域带来了重大突破。

问题背景

扩散语言模型在图像生成、文本生成等任务中表现卓越，然而其推理速度却远低于自回归模型。这主要是由于扩散语言模型在生成过程中需要进行多次迭代去噪，每次迭代都要重新计算大量的键值对（Key-Value Pairs），导致计算量巨大，推理时间过长。就好比一个人做一道复杂的数学题，每次计算都要从头开始推导公式，效率自然低下。

dKV-Cache机制原理

dKV-Cache机制借鉴了自回归模型中的KV-Cache思想，但进行了针对性的改进，以适应扩散语言模型的特点。

延迟缓存策略：在扩散语言模型的去噪过程中，并非一开始就将所有键值对都缓存起来，而是根据去噪的进度，延迟缓存部分关键的键值对。这就好比在建造一座大楼时，不是一开始就把所有建筑材料都堆放在现场，而是根据施工的进度，逐步将所需的材料运到现场。这样可以减少初始阶段的内存占用和计算负担，提高推理效率。
条件化缓存策略：根据去噪过程中的不同条件和状态，有选择地缓存键值对。例如，在不同的去噪步骤中，某些键值对的重要性可能不同，dKV-Cache机制会根据这些条件，只缓存那些对当前去噪步骤影响较大的键值对。就像在整理文件时，根据文件的重要性和使用频率，只将重要的文件放在容易拿到的地方，方便随时使用。

实验效果

通过一系列实验验证，dKV-Cache机制取得了显著的成效。

推理加速效果：实验表明，dKV-Cache能实现2 – 10倍的推理加速。这意味着原本需要花费较长时间才能完成的推理任务，现在可以在更短的时间内完成。例如，原本生成一张高质量图像可能需要几分钟，使用dKV-Cache机制后，可能只需要几十秒甚至更短的时间。
缩小速度差距：该机制显著缩小了扩散语言模型与自回归模型在推理速度上的差距。以往，自回归模型在推理速度上具有明显优势，而扩散语言模型由于速度慢，在应用场景上受到一定限制。现在，dKV-Cache机制使得扩散语言模型在速度上更接近自回归模型，为其在更多领域的应用提供了可能。
长序列性能提升：在处理长序列数据时，dKV-Cache机制同样表现出色，能够进一步提升性能。长序列数据在自然语言处理、图像处理等领域非常常见，例如一篇长文章、一张高分辨率的图像等。dKV-Cache机制通过对长序列数据的优化缓存，减少了重复计算，提高了推理效率。