摘要

随着深度学习应用的迅猛发展，TensorCore GPU、TPU、MLU等深度学习处理器（deep learning processor，DLP）迅速兴起，并在矩阵运算中展现出优异性能。为高效处理复杂矩阵数据，这类处理器通常以固定步长将子矩阵分块加载到片上存储器，形成特定的跨步访存（strided memory access）模式。然而，英伟达H100、华为Ascend及寒武纪MLU等设备目前均依赖复杂的显式冲突管理，缺乏矩阵跨步访存冲突的硬件检测机制，致使指令执行的原子性和一致性难以保障。传统访存冲突检测方法侧重于标量运算，难以捕捉矩阵数据间的依赖冲突。针对这一现状，本文提出了一种矩阵跨步访存冲突判定方法，将冲突检测归约为二元一次不定方程求解，从而精确判断访存指令间的依赖关系。模拟实验表明，该方法显著优化了大模型典型算子的访存性能：访存带宽利用率最高分别可达94%（LPDDR存储器）与91%（HBM存储器），且与Power测试和集合相交方法相比，平均判定开销分别降至4.68%和0.31%。此外，基于12 nm工艺的硬件评估显示，比较器面积仅0.02333 mm²，功耗4.1194 mW。总体而言，该机制由复杂的显式管理转向高效硬件判定，有效提升了深度学习处理器的存储管理能力。

关键词：智能计算系统；深度学习处理器；跨步访存；访存冲突；不定方程

1 引言

近年来，随着人工智能和深度学习技术的兴起，深度学习处理器（deep learning processor，DLP）以及智能计算系统已成为计算体系结构领域的重要研究方向。DLP是一种面向深度学习任务优化设计的专用硬件，区别于以标量或向量为基本数据单元的传统处理器，DLP以矩阵作为数据处理的基本粒度。其芯片配置矩阵运算单元和矩阵存储单元，专门用于直接处理矩阵数据，从而显著提升算力和能效。因此，DLP能高效执行矩阵运算、卷积等计算任务。

DLP使用矩阵访存指令存取数据，其特点为跨步访问。例如，在4×4矩阵乘法中，运算单元需分批加载4×4子矩阵到片上存储器，再将结果写回片外存储器。图1展示了1个4×8矩阵的线性存储方式，其中深色区域代表1条访存指令的操作数，这些数据分散存于多个子数据段，每段间隔固定步长。传统访存模式难以高效访问此类数据。相比之下，DLP专为跨步读取设计的访存指令能降低译码和寻址开销，有效读取分散数据，提升访存带宽，并适用于卷积、特征图存取与矩阵运算。理想情况下，矩阵访存操作应具备原子性，即操作不可分割，要么完整加载或存储整个相应的数据块，要么完全不执行，特别是在异步并发执行访存指令时，这是保证计算正确性的关键。

然而，DLP的访存控制设计仍存在一个关键性问题，即如何判定矩阵访存指令是否存在冲突，这对于DLP生态建设至关重要。早期的深度学习计算系统主要依赖高性能库进行计算任务优化，用户通常调用经过精心调优的库函数，而不直接涉及底层指令，因此无需考虑访存冲突问题。然而，随着深度学习计算朝着开放生态发展，用户可以通过智能编程语言（如寒武纪BANG C编程语言、Triton）和深度学习编译器，更直接地控制底层访存和计算行为。这种增强的灵活性在提升可编程性和优化潜力的同时，也显著增加了因访存指令参数配置不当而引发冲突的风险。

事实上，当前主流的DLP平台，包括英伟达Hopper GPU、华为Ascend昇腾处理器和寒武纪MLU思元处理器等，在硬件层面普遍缺乏对矩阵访存冲突的自动检测机制，这使得冲突规避的责任主要由开发者或上层软件栈承担。这种现状带来了显著风险：由于缺乏硬件层面的冲突判断能力，处理器在并发执行访存指令时，用户不当的参数配置以及同步设置极易引发未定义行为，包括但不限于数据竞争、数据覆盖、访存队列阻塞，不仅直接威胁计算结果的准确性，还可能通过链式传播影响计算系统稳定性。此外，不同硬件世代产品可能对冲突场景采取不同的处理策略（如覆盖冲突数据或者抛出硬件异常），导致同一程序在不同平台上的行为不一致，从而削弱程序的可移植性和深度学习计算生态的可靠性。因此，构建一个具有高效冲突检测机制的访存管理机制，为DLP访存指令明确一个清晰的编程界面，已成为DLP架构设计中的关键需求。

2 相关工作

针对矩阵跨步访存的冲突判定，需要一种精确且高效的检测机制。传统的访存管理技术（如寄存器重命名和乱序执行）主要适用于标量访存场景，在矩阵计算中难以应对复杂的跨步访存模式。矩阵访存包含若干个地址，地址冲突结合指令的读写方向即可判断是否存在读后写（WAR）、写后读（RAW）或写后写（WAW）等数据冲突行为。集合相交法通过循环展开直接对比子矩阵元素的访存地址，虽然能够精确检测地址冲突，但其计算复杂度较高，增加了系统开销。而区间覆盖法通过将子矩阵的起始地址和结束地址视为连续区间，判断区间是否存在交集，从而检测地址冲突，该方法与Banerjee-Wolfe测试等价。然而，该方法忽略了矩阵条带之间的“空隙”，可能导致误判。因此，集合相交法和区间覆盖法在性能和精度上均存在一定局限性。

3 本文方法

为解决上述问题，本文提出了一种基于不定方程求解的矩阵访存冲突检测方法。我们将访存冲突判定建模为二元一次不定方程是否有解的问题，精确判断访存指令是否存在冲突。实验结果表明，相较于区间覆盖法，本文方法有效避免了粗粒度检测导致的误判，访存带宽利用率显著提升。LPDDR存储器的带宽利用率平均值从72%提升至89%，HBM存储器的带宽利用率平均值从32%提升至88%，访存带宽利用率最高分别可达94%和91%。同时，与Power测试和集合相交法相比，本文方法的冲突判定延迟降低了1~2个数量级，显著提高了计算效率。同时基于12 nm工艺综合结果显示，面积仅0.02333 mm²，功耗仅4.1194 mW。

4 结论

本文的主要贡献如下：

1）在DLP架构设计上实现了矩阵跨步访存的冲突判定机制，确保访存指令的原子性，避免了未定义行为带来的不可预测性；

2）提出了跨步访存冲突的形式化分析方法，将冲突判定建模为不定方程是否存在合法解，判定求解的时间复杂度大幅降低；

3）在模拟仿真平台评估方法的有效性，实验表明：相较于Banerjee–Wolfe测试，本文方法下的访存带宽利用率最高可提升至94%（LPDDR）和91%（HBM），本文方法的判定开销相较于Power测试和集合相交法，降低至4.68%和0.31%，降低了1~2个数量级。同时仅需很小的硬件开销。

总结与展望

本文针对DLP中关键且高频的矩阵跨步访存模式，提出了一种准确且低开销的冲突检测方法。本研究在DLP架构设计中实现了一种矩阵跨步访存冲突判定机制，确保了访存指令的原子性，防止了未定义行为导致的不可预测性。该机制将矩阵访存地址比较归结为二元一次不定方程求解，通过形式化方法实现了精确且高效的数学建模。同时该机制可有效提升DLP在多通道存储器配置下的带宽利用率。此外，考虑到开放软件生态对硬件访存管理机制的依赖性，本文提出的冲突判定机制为开发者提供了明确的访存指令编程界面，增强了DLP计算生态的可用性和可靠性。

未来工作中将探索更安全高效的指令队列预取策略，以及更适合实际场景数据范围的除法实现方案，以进一步缩短关键路径延时，进一步提升系统效率。