Posts on zzudongxiang

文献阅读《Mystique: Enabling accurate and scalable generation of production AI benchmarks》

Sat, 12 Sep 2026 14:30:00 +0800

1. 挑战与贡献

挑战

模型的多样性和更新速度无法与云基础设施上不断变化、高度多样化的人工智能生产工作负载相匹配
工程师或研究人员需要手动选择现有的生产或开源工作负载，并将其调整为可用于基准测试的形式

贡献

框架：建立了一个可扩展的自动化端到端基础设施，可对真实生产型人工智能工作负载的执行轨迹进行剖析和重现
高精度：通过在warehouse-scale fleet中运行的几个 PyTorch 生产工作负载对 Mystique 进行了评估，结果表明，生成的基准在性能和系统级指标方面与原始基准非常接近
可移植性：展示了跨平台生成基准的可移植性，并评估了 Mystique 可应用的几种情况，包括早期平台评估、子轨迹重放和缩小性能测试

2. 相关工作

Benchmark

DeepBench：提供了一套深度神经网络（DNN）使用的基本操作，并在不同平台上对其进行了评估
TBD：确定了八个具有代表性的 DNN 模型，并在不同的深度学习框架和硬件配置上进行了详细的性能分析
DAWNBench：测量训练和推理的端到端性能，以规定的精度为前提，允许软件、算法、通信方法的创新
MLPerf：目前最为流行的Benchmark

仿真工具

Sniper：并行、可扩展的CPU仿真工具，对多核和多处理器进行高度抽象
gem5：一种微架构的仿真器，目前适用于仿真GPU
GPGPU-Sim：提供一种时钟周期级别的仿真工具，可以对运行CUDA和OpenCL的Nvidia GPU进行仿真

性能建模

Daydream：根据内核-任务依赖图预测模型在某些优化条件下的运行时间
Habitat：使用波形缩放和 MLP 预测 DNN 训练的执行时间
CM-DARE：提出了一种利用云端 GPU 服务器进行分布式训练的性能模型

性能收集

MicroGrad：收集CPU指标，并使用基于梯度下降的调整机制来生成工作负载克隆和压力测试
PerfProx：根据硬件性能计数器得出的性能指标，生成真实世界数据库应用程序的miniature proxies
CAMP：模拟核心性能、内存位置以及它们之间的相互作用，以模仿BigData应用程序
ECHO：重点是利用统计模型克隆分布式云应用中的网络行为，并生成与原始服务的定位和流量特征相似的合成基准
Ditto：提出了一种自动克隆框架，该框架可捕获分布式云应用程序的低级和高级性能指标
G-MAP：为 GPU 应用程序的内存访问模式和并行性建模，以创建内存代理
GPGPU-MiniBench：生成 CUDA GPGPU 内核的miniature proxies，以保持相似的性能

3. 相关背景

Pytorch

ATen ops：低层级的Tensor库，是Pytorch的后端，用于执行真实的计算任务（加法、矩阵乘法等）
Communication ops：多设备之间的分布式训练通信，通常为异步的。在Pytorch中c10d是一个非常流行的通信库，提供了大量的集合通信API和P2P通信API
Fused ops：融合操作，是一种计算加速优化方法，可以把多个操作融合成一个运算操作。CPU中常用NNC作为融合操作的后端，GPU中为NVFuser
Custom ops：允许用户实现比默认实现更好的模型块

4. Mystique设计

文献阅读《Alibaba HPN: A Data Center Network for Large Language Model Training》

Wed, 28 Aug 2024 00:00:00 +0000

Alibaba High Performance Network (HPN)

HPN介绍了一种两层的双平面网络，可以在一个Pod中接入1.5w个GPU，通常需要3层Clos架构的网络才能容纳这么多GPU

HPN 提出了一种新的双 ToR 设计，以取代传统数据中心网络中的单 ToR

1. 贡献与挑战

挑战

流量模式

传统网络无法应对LLM的低熵、周期性、突发的网络特点，传统的数据中心网络一般是高熵的（传统网络中会存在百万条流，但是每条流的利用率特别低，一半小于20%）

ECMP在传统的数据中心的高熵、低利用率的网络中性能表现较好，但是在LLM训练中并不是最佳的
单点故障的敏感性高

LLM训练是一个同步过程，所有GPU合作完成一系列迭代，任何一个GPU发生故障都有可能导致整个训练过程出现问题

对LLM训练影响最大的是与机架顶部（ToR）相关的单点故障，这种故障可能会影响到各种GPU

生产统计数据显示，LLM训练中出现的故障造成的损失是一般云计算故障的 20 倍

贡献

非堆叠的双层ToR网络，可以在两个交换机之间直接同步，很好的改善了大规模部署的可信度
适配最新的51.2Tbps的交换机芯片，可以将1K个GPU部署在Tier 1网络中，使96.3%的训练任务获得高性能的网络

我们的实验表明，使用HPN的LLM训练吞吐量比传统数据中心网络高14.9倍

2. 背景知识

LLM的并行策略

DP：每次迭代使用All Reduce同步计算梯度数据
PP：每次使用Send/Recv传递中间结果
TP：每次迭代使用All Reduce/All Gather同步输出和对应的梯度

LLM的流量特征

带宽利用率周期性突发
流的数量少

传统的数据中心网络不适用于LLM流量模式

LLM对单点故障的敏感性

LLM每次的Checkpoint间隔大概在2-4小时，按照一个3k张GPU的集群计算，每次失败导致的回滚都将导致大约3w美元的损失

常见的监控工具和异常分析工具并不能避免网络产生故障，根据实验表明，在NIC到ToR之间每个月大概有0.057%的Link故障率，在ToR交换机每个月的故障率大约是0.051%，即一个LLM训练集群每个月可能会产生1-2次的Crash，5k-60k次的Link故障

LLM网络架构的建设目标

规模化：达到15K个GPU的规模，未来可以扩展到100K个GPU的规模
高性能：尽可能小的网络跳数，尽可能使用GPU-GPU直达的连接
单点故障容错率：在网络拓扑层尽可能改善单点故障的容错率

3. HPN架构

分为前端网络和后端网络，前端网络主要负责例如管理、接口、存储等网络流量，后端网络负责LLM的训练时的流量
每个Host包含8个GPU，使用NVLink互联，双向带宽达到400GBps-900GBps
每个Host包含9个2x200Gbps的网卡，其中一个连接到前端网络，其余的8个与GPU直连，接入后端网络
每个网卡的2个端口分别连接至不同的ToR网络，这种双ToR设计可以避免单点故障

4. 双ToR网络

传统数据中心的NIC的两个光缆接入一个交换机成为单ToR设计
双ToR设计将NIC的两个光缆接口分别接入不同的ToR交换机中
两个接口配置相同的IP和MAC地址，即使其中一个ToR故障，另外一个依旧可以正常工作
基于以上，同一个NIC的两个网卡共享相同的Queue Pair Context

文献阅读《xCCL: A Survey of Industry-Led Collective Communication Libraries for Deep Learning》

Mon, 26 Aug 2024 00:00:00 +0000

we survey the current state-of-the-art collective communication libraries (namely xCCL, including NCCL, oneCCL, RCCL, MSCCL, ACCL, and Gloo), with a focus on the industry-led ones for deep learning workloads.

常见的MPI库：MPICH、MVAPICH、OpenMPI

其他的非MPI库：OpenSHMEM（Open-source Symmetric Hierarchical MEMory）、UCX（Unified Communication X）、UCC（Unified Collective Communication）

常见的xCCL库：NVIDIA Collective Communications Library (NCCL)、AMD’s ROCm Collective Communication Library (RCCL)、Gloo

1. 贡献与挑战

挑战

什么让同时代的xCCL比MPI更具有吸引力？
每种集合通信库的性能特性如何？
这些xCCL库是如何设计的？是否存在某种共享的设计模式？

贡献

总结和研究集合通信原语、网络拓扑、算法，为同时代的深度学习训练奠定基础
讨论这些研究的工业集合通信解决方案以及其细节测试
对比当前的集合通信库的性能情况

2. 集合通信原语

Broadcast：常用于将训练数据发送到各个设备上
All Reduce：广泛应用于分布式神经网络训练的后向传播阶段
All Gather、Scatter、All-to-All、Reduce、Reduce Scatter

3. 网络拓扑架构

3.1 HyperCube

优点：高度的连接性，不容易发生故障

《ASTRA-sim 系列两篇》

Sat, 15 Jun 2024 00:00:00 +0000

《ASTRA-SIM: Enabling SW/HW co-design exploration for distributed DL training platforms》

1. 文章简介

1.1 摘要

现代深度学习系统主要依靠基于高性能加速器（如 TPU、GPU）的硬件平台进行分布式训练。目前的例子包括谷歌的云 TPU 和 Facebook 的 Zion。DNN 训练涉及 DNN 模型架构、并行化策略、调度策略、集体通信算法、网络拓扑和终端加速器之间复杂的相互作用。随着人工智能/ML 模型的创新不断加速发展，需要一种全面的方法来理解和驾驭未来系统中复杂的 SW/HW 设计空间，以支持未来 DNN 模型的高效训练。在这项工作中，我们做出了以下贡献：(i) 为分层扩展结构上的分布式训练建立了 SW/HW 设计空间；(ii) 开发了一个用于导航设计空间的网络模拟器；(iii) 展示了算法拓扑协同设计加速端到端训练的前景。

1.2 研究动机

对模型架构、并行策略、调度算法、集合通信、网络拓扑、终端算力的仿真
大规模并行训练成本高，在实际部署和训练之前，需要一个仿真工具进行评估

1.3 主要贡献

为分层加速器结构设计空间探索建立 SW/HW 设计空间，并确定扩展 DL 工作负载的关键瓶颈
开发名为 ASTRASIM 的端到端网络模拟器，用于评估设计空间的各个方面
使用 ASTRA-SIM 对 alltoall 和 Torus 拓扑的 all-reduce 和 all-to-all 集合的一维、二维和三维拓扑进行全面分析

2. 实现方法

3. 实验结果

实验参数

文献阅读《Chakra: Advancing performance benchmarking and co-design using standardized execution traces》

Sat, 15 Jun 2024 00:00:00 +0000

1. 文章简介

1.1 摘要

基准测试和协同设计对于推动 ML 模型、ML 软件和下一代硬件的优化和创新至关重要。全工作量基准（如 MLPerf）在实现不同软件和硬件堆栈之间的公平比较方面发挥着至关重要的作用，尤其是在系统完全设计和部署之后。然而，人工智能创新的步伐要求模拟器和仿真器采用更加敏捷的方法来创建和使用基准，以实现未来的系统协同设计。我们提出了 Chakra，这是一种开放式图模式，用于标准化工作负载规范，捕捉关键操作和依赖关系，也称为执行跟踪（ET）。此外，我们还提出了一套互补的工具/功能，使各种模拟器、仿真器和基准能够收集、生成和采用 Chakra ET。例如，我们使用生成式人工智能模型学习数千种 Chakra ET 的潜在统计属性，并使用这些模型合成 Chakra ET。这些合成的 ET 可以混淆关键的专有信息，还可以针对未来的假设场景进行设计。举例来说，我们展示了一个端到端的概念验证，它能将 PyTorch ET 转换为 Chakra ET，并以此驱动一个开源训练系统模拟器（ASTRA-sim）。我们的最终目标是建立一个充满活力的全行业敏捷基准和工具生态系统，以推动未来的人工智能系统协同设计。

1.2 研究动机

Full Workload Benchmarks对于评价分布式训练的性能虽然非常重要，但是需要更加敏捷的方式
评价分布式训练的软硬件联合设计的效果
不同的AI/ML模型通常由不同的公司在不同的平台上构建，通常不能提供公开模型的细节
缺少在不同的组织之间交换ML模型ET的统一架构
缺少完善的性能评估工具链
目前的方法缺乏合成ET的能力
以Pytorch为例，可以使用Execution Graph Observer获取直接的ET，但是这种方法得到的结果受真实的系统的限制（例如NPU数量，计算时间，网络延迟等），使用合成的ET可以避免这些限制

1.3 主要贡献

捕捉相关执行和依赖信息的 Chakra ET
可视化器、转换器和模拟器等开源工具链
人工智能生成模型的ET合成

2. 实现方法

2.1 设计需求

应该包含内存访问、计算负载、网络通信、并行策略
应该最小化且可扩展
应该从性能建模的角度对 ML 执行的各个方面进行建模
应该能显示不同执行阶段的ET，且与设备解耦

2.2 实现方案

2.2.1 ET的表示

A. Chakra Node

type的值范围

INVALID 字段的初始值，用于忽略非关键节点
MEM_LOAD、MEM_STORE
COMP
COMM_SEND、COMM_RECV、COMM_COLL

B. Chakra Attribute

type的值范围

文献阅读《HPCC: high precision congestion control》

Sat, 15 Jun 2024 00:00:00 +0000

1. 内容简介

1.1 摘要

拥塞控制（CC）是高速网络实现超低延迟、高带宽和网络稳定性的关键。根据多年运营大规模高速 RDMA 网络的经验，我们发现现有的高速拥塞控制方案在实现这些目标方面存在固有的局限性。在本文中，我们提出了 HPCC（高精度拥塞控制），一种能同时实现上述三个目标的新型高速拥塞控制机制。HPCC 利用网内遥测（INT）获取精确的链路负载信息，并精确控制流量。通过解决拥塞期间 INT 信息延迟和对 INT 信息反应过度等难题，HPCC 可以在避免拥塞的同时快速收敛以利用空闲带宽，并能保持近乎零的网内队列以实现超低延迟。HPCC 在硬件上的部署也是公平、简单的。我们利用商品可编程网卡和交换机实现了 HPCC。在我们的评估中，与 DCQCN 和 TIMELY 相比，HPCC 可将流量完成时间缩短达 95%，即使在大规模数据交换的情况下也几乎不会造成拥塞。

1.2 研究动机

FPC风暴：网络上一旦出现阻塞，根据RoCEv2协议会发送FPC暂停帧，进而导致网络停摆
超大延迟：由于阻塞网络队列的影响，神经网络训练时的延迟大到超乎想象
收敛速度慢：由于依赖的Feedback信息颗粒度不够，导致处理大规模阻塞事件时收敛慢
不可避免的缓存队列：由于DCQCN和TIMELY等都依赖队列信息的感知，因此无法避免延迟大的问题
复杂的调参：不同的应用有不同的流量模式，不同的环境有不同的拓扑、链接速度、交换机缓冲区大小等，因此在不同环境下部署不同应用时都要对参数进行微调

1.3 主要贡献

HPCC的发送端可以快速提高发送速率以提高带宽利用率，同时可以快速降低发送速率，以避免产生阻塞
HPCC的发送端可以快速的调整发送速率以确保每条连接的输入速率略小于其带宽能力
一旦发送速率在路由中精确计算出结果，HPCC只需要3个独立的参数就可以调整其效率和公平性

2. 实现方法

Sender发送输入给Receiver，数据在经过中间的Switch时会被Switch添加一些INT数据作为metadata，Receiver在ACK时把这些metadata传递给Sender，然后Sender根据这些INT数据调整自己的发送速率

Sender通过发送窗口限制在途数据的数量
基于在途数据量的阻塞控制信号和控制策略
快速响应而不是过响应

实现方法，FPGA网卡

3. 实验结果

小规模测试+大规模NS3仿真

测试条件 - 网络拓扑

The testbed topology mimics a small scale RDMA PoD in our production. The testbed includes one Agg switch and four ToRs (ToR1-ToR4) connected via four 100Gbps links. There are 32 servers in total and each server has two 25Gbps NICs. 16 servers are connected to ToR1 and ToR2 via two uplinks, and the other 16 servers are connected to ToR3 and ToR4. The base RTT is 5.4μs within a rack and 8.5μs cross racks.

文献阅读《Impact of RoCE congestion control policies on distributed training of dnns》

Sat, 15 Jun 2024 00:00:00 +0000

1. 内容简介

1.1 摘要

聚合以太网（RoCE）上的 RDMA 协议因其与传统以太网结构的兼容性而对数据中心网络产生了巨大的吸引力。然而，RDMA 协议只有在（几乎）无损网络上才有效，这就强调了拥塞控制在 RoCE 网络中的重要作用。遗憾的是，基于优先级流量控制（PFC）的本地 RoCE 拥塞控制方案存在许多缺点，如不公平、头线阻塞和死锁。因此，近年来人们提出了许多为 RoCE 网络提供额外拥塞控制的方案，以尽量减少 PFC 的缺点。不过，这些方案都是针对一般数据中心环境提出的。与使用商品硬件构建并运行通用工作负载的普通数据中心不同，高性能分布式培训平台部署了高端加速器和网络组件，并使用集体（All-Reduce、All-To-All）通信库专门运行培训工作负载。此外，这些平台通常有一个专用网络，将其通信流量与数据中心的其他流量分开。可扩展的拓扑感知集体算法本质上就是为了避免同播模式并优化流量平衡而设计的。由于这些显著特点，我们有必要重新审视以前提出的通用数据中心环境拥塞控制方案。在本文中，我们深入分析了在分布式培训平台上运行时，一些最先进的 RoCE 拥塞控制方案（DCQCN、DCTCP、TIMELY 和 HPCC）与 PFC 的对比。我们的研究结果表明，以前提出的 RoCE 拥塞控制方案对培训工作负载的端到端性能影响甚微，因此有必要根据分布式培训平台和工作负载的特点设计一种优化的、低开销的拥塞控制方案。

1.2 研究动机

标准的RoCE协议使用FPC协议控制阻塞，但是会带来不平衡、队头阻塞和死锁的问题
传统的基于RoCE的阻塞控制算法是基于通用的数据中心构建的
之前的阻塞控制协议（DCQCN、TIMELY、HPCC等）并不适用于DNN训练的场景

1.3 主要贡献

第一个在DNN分布式训练任务上进行阻塞控制方案评估的工作
使用ASTRA-sim和NS3使用不同的阻塞控制方案进行仿真验证
对每个现成的阻塞控制方案进行详细的分析，包括集合通信和DNN训练负载等
不同的最先进 RoCE 拥塞控制方案对端到端培训性能影响甚微
我们为设计一种针对分布式训练的优化且低开销的拥塞控制方案指明了方向

2. 实现方法

使用ASTRA-sim仿真

网络拓扑

系统参数

3. 实验结果

3.1 Single-switch Incast micro-benchmark

FPC only 队列快速满载，随后网络被反复暂停并重复这一过程
DCQCN在设置参数时确保没有FPC触发，且带宽率用率较高
DCTCP、TIMELY等在没有触发FPC帧的条件下

3.2 Single-switch Collectives Micro-benchmark

在8-128个GPU条件下进行All-To-All和All-Reduce集合通信
在集合通信条件下不存在阻塞，所以没有阻塞控制算法对其无效

文献阅读《NS3 Simulator for a study of Data Center Networks》

Sat, 15 Jun 2024 00:00:00 +0000

1. 文章简介

1.1 摘要

部署在数据中心网络（DCN）上的应用日益复杂和先进，对 DCN 的新功能和更高性能提出了更高要求。这就产生了许多设计，以应对成本、性能、可靠性、可扩展性、安全性和能源等各种挑战。设计人员经常面临的一个主要挑战是如何实现他们提出的设计或实现现有设计进行比较。虽然原型设计是更好的选择，但它有一定的局限性，而且非常复杂和昂贵。因此，仿真被认为是原型设计的替代方案。

本文介绍了使用网络Network Simulator 3（NS3）实现 DCN 的各种架构并研究其性能的案例研究。我们提供的信息包括最流行的 DCN 设计的实现，以及 NS3 可用来研究其性能的工具。我们的努力是让初学者能够轻松使用 NS3 构建 DCN 的流行设计并研究其性能。

1.2 研究动机

数据中心的网络设计通常需要大量的成本
单个FPGA网卡的成本超过$599.0，在验证DCN可行性时成本是不可估算的

1.3 主要贡献

使用NS3仿真DCN：Fat-Tree、BCube、DCell、PortLand、4-4、1-4等

2. 实现方法

在他们提出的工作中实现DCN的不同设计

3.1 Fat-Tree

一个 k-ary 的胖树结构由k个 Pod 组成，每个 Pod 由 k/2 个 k 端口的交换机组成两层网络，k 端口的交换机中的k/2个端口连接下一层级的主机，剩余的 k/2 个端口连接上一层级，最终聚合到核心层。

以 10.0.0.0/8 地址段为例，可以为胖树网络进行IP编址

3.2 BCube

BCube_0 是一个 BCube 网络拓扑的基础，可以将 n 个服务器连接到 1 个 n 端口的交换机上
BCube_1 由 BCube_0 演化而来，由 n 个 BCube_0 和 n 个 n 端口的路由器组成

文献阅读《The GEM5 Simulator》

Sat, 15 Jun 2024 00:00:00 +0000

1. 文章简介

1.1 摘要

开源和社区支持的 gem5 仿真器是计算机体系结构研究领域最流行的工具之一。这种仿真基础架构允许研究人员在周期级别对现代计算机硬件进行建模，其保真度足以启动未经修改的基于Linux的操作系统，并为包括x86、Arm®和RISC-V在内的多种体系结构运行完整的应用程序。自gem5最初发布以来，gem5模拟器在过去九年中一直处于积极开发阶段。在此期间，有超过 250 位独特的贡献者对代码库进行了 7000 多次提交，通过添加新功能、修复错误和提高代码质量来改进模拟器。在本文中，我们将概述gem5的用法和功能，描述gem5模拟器的现状，并列举自gem5首次发布以来的主要变化。我们还讨论了gem5模拟器如何过渡到正式的管理模式，以便在未来20年的计算机体系结构研究中实现持续改进和社区支持。

1.2 主要贡献

gem5 可通过基于 Python 的强大脚本界面进行动态配置。大多数其他模拟器都是通过平面文本文件（如 json）或在编译时进行静态配置的。另一方面，gem5 允许用户使用面向对象的 Python 脚本将较简单的系统组成更复杂的系统，从而更轻松地模拟复杂系统。
gem5 可通过简洁的模型应用程序接口进行扩展。gem5模拟器有300多个参数化模型，添加新模型和参数简单明了，并有详细的文档说明。
gem5 是一个完整的系统模拟器。其高保真模型可支持启动未修改的操作系统和运行未修改的应用程序，并提供周期级统计数据。
gem5 是一个由社区驱动并经常更新的项目。gem5 社区蓬勃发展。自九年前首次发布以来，已有 250 多名独特的贡献者和 7000 多次提交。即使在过去六个月中，gem5 也有超过 850 次提交和 50 个独特的贡献者。

2. 实现方法

gem5的简单使用方法

gem5的组成部分

文献阅读《Tofu: a 6D mesh/torus interconnect for exascale computers》

Sat, 15 Jun 2024 00:00:00 +0000

在XYZ维度拓扑结构类似3D Torus架构
在ABC维度按照如图所示的架构链接
每个节点需要引出来10个链接，每XYZB轴各2条，AC轴为1条

Tofu架构先在ABC维度上进行拓扑，将12个Node互联形成一个Group
然后再在XYZ维度上进行Torus拓扑，最终实现数万个Node互联
每个Node使用一个（X,Y,Z,A,B,C）作为地址

主动路径算法支持最多12条路径
可以主动屏蔽故障路径
多路径中继策略

文献阅读《TPU v4: An optically reconfigurable supercomputer for machine learning with hardware support ...》

Sat, 15 Jun 2024 00:00:00 +0000

1. 内容简介

1.1 摘要

为了应对机器学习（ML）模型的创新，生产工作负载发生了翻天覆地的变化。TPU v4 是谷歌第五个特定领域架构（DSA），也是第三台用于此类 ML 模型的超级计算机。光路交换机（OCS）可以动态地重新配置其互连拓扑结构，以提高规模、可用性、利用率、模块化、部署、安全性、功耗和性能；如果需要，用户可以选择扭曲的三维环形拓扑结构。与 Infiniband 相比，OCS 的成本更低、功耗更小、速度更快，OCS 和底层光学元件占系统成本的比例小于 5%，占系统功耗的比例小于 3%。每个 TPU v4 都包含 SparseCores 数据流处理器，可将依赖嵌入的模型加速 5-7 倍，但仅占用 5% 的芯片面积和功耗。自 2020 年部署以来，TPU v4 的性能是 TPU v3 的 2.1 倍，性能/瓦特数提高了 2.7 倍。TPU v4 超级计算机的芯片数量为 4096 个，是 TPU v3 的 4 倍，因此整体速度提高了近 10 倍，再加上 OCS 的灵活性和可用性，大型语言模型的平均训练速度可达到峰值 FLOPS/second 的 60%。对于类似大小的系统，它比 Graphcore IPU Bow 快 4.3-4.5 倍，比 Nvidia A100 快 1.2-1.7 倍，功耗低 1.3-1.9 倍。谷歌云能源优化仓库规模计算机内的 TPU v4 与典型内部数据中心的当代 DSA 相比，能耗降低约 2-6 倍，二氧化碳排放量降低约 20 倍。

文献阅读《COSSIM: An open-source integrated solution to address the simulator gap for systems of systems》

Fri, 07 Jun 2024 00:00:00 +0000

1. 文章简介

1.1 摘要

在复杂的网络化异构系统时代，仅对设计中系统的部分、组件或属性进行独立仿真是不可行、不准确或不高效的。交互作用太多、太复杂，无法产生有意义的结果，而且以孤立的方式考虑系统的每个部分时，优化机会受到严重限制。所介绍的 COSSIM 仿真框架是首个已知的开源高性能仿真器，可全面处理包括处理器、外设和网络在内的系统；这种方法对 CPS/IoT 和高并行异构系统设计人员和应用开发人员都非常有吸引力。我们的高度集成方法通过精确的功率估算和安全子工具得到了进一步增强，这些工具可以挖掘所有系统组件，并对整个网络系统进行安全性和稳健性分析。此外，我们还开发了一个图形用户界面，以提供简便的仿真设置、执行和结果可视化。COSSIM 已在云计算和 CPS 系统的实际应用中进行了评估，显示出很高的准确性和性能，几乎与专用于模拟器的 CPU 数量成线性关系。

1.2 研究动机

针对CPS/IoT或依赖高度并行的异构系统的仿真场景，没有现有的、可靠的、高精度、高性能的工具
现有工具主要分为两类：
- 一种面向系统功能设计，针对物理器件、处理器、电子组件、用户行为、事件、消息等（Ptolemy、Matlab Simulink、Modelica-based Simulation Environments）
- 另外一种可以处理周期精度、功耗等，主要在WSN中广泛应用（TOSSIM、COOJA）
在云服务器仿真中常用的是：CloudSim及其衍生物

1.3 主要贡献

构建了一套COSSIM的仿真工具，具有高精度、高可信、高效的特点
仿真工具可以对系统性能、功耗、网络、安全等多方面进行评估
仿真工具主要面向两种系统：一种是Encompasses Systems（WSN、CPS、IoT等），另外一种是Cloud and Parallel/Distributed Systems

2. 实现方法

COSSIM主要针对的软件栈、动态网络、能耗仿真等几个方面

2.1 COSSIM组成

2.1.1 处理器仿真

主要使用 GEM5 对节点（处理器）进行仿真，它可以满足对周期精度、指令集、可配置等多个条件。但是由于GEM5不支持对能耗的仿真，因此使用 McPAT 对能耗进行补充

2.1.2 网络仿真

GEM5虽然可以支持到网络网卡（NIC）层级的仿真，但是不支持网络建模。使用 OMNET++ 处理从网卡层级及以上的仿真。

2.1.3 组件集成

需要在处理器仿真与网络仿真之间细心的设计通信接口和同步方案。使用 IEEE HLA 对网络数据、消息、同步等进行网络控制

2.2 COSSIM实现

用户输入系统配置、运行的应用、系统镜像、网络拓扑等参数，通过仿真可以得到处理器/网络状态、应用是模拟输出、功耗等信息
GEM5和McPAT模块用于仿真节点，在运行的时候是多个实例进行并行的
OMNET++用于多节点之间的网络模拟
在节点（GEM5）和网络（OMNET++）之间通过HLA进行时钟同步
使用嵌入的COSSIMlib控制节点间的同步策略和全局同步策略
同一个网络上可以有多个不同算力，不同配置的GEM5实例，且节点间需要同时交换信息，因此同步是必要的

3. 实验结果

COSSIM在移动视觉搜索应用和建筑管理系统应用上进行仿真和验证

3.1 移动视觉搜索

移动视觉搜索（Mobile Visual Search，MVS）是一个计算机视觉应用，主要分为图像分析和搜索两个阶段

文献阅读《TOPOOPT: Co-optimizing Network Topology and Parallelization Strategy...》

Thu, 16 May 2024 00:00:00 +0000

WANG W, KHAZRAEE M, ZHONG Z, et al. TopoOpt: Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs
\[Z\]
. NSDI. 2023 https://www.usenix.org/conference/nsdi23/presentation/wang-weiyang

论文简介

1. 摘要

本文提出一种新的适用于DNN的直连结构网络$T_{OPO}O_{PT}$，它可以在计算、通信和网络拓扑三个维度上优化分布式训练的过程。我们演示了 AllReduce 流量的可变性，并利用此属性为 DNN 训练作业构建高效的网络拓扑。然后，$T_{OPO}O_{PT}$使用交替优化技术和名为TotientPerms的群论启发算法来找到最佳网络拓扑和路由计划以及并行化策略。我们构建了一个功能齐全的 12 节点直连原型，具有 100 Gbps 的远程直接内存访问 (RDMA) 转发。对真实分布式训练模型的大规模模拟表明，与类似成本的 Fat-tree 互连相比，TOPOOPT 将 DNN 训练时间减少了高达 3.4 倍。

2. 主要贡献

综合考虑了计算、通信和网络拓扑三个维度的优化策略
分析了MP与AllReduce的流量特征
利用AllReduce的流量可变性优化AllReduce路径
利用交替优化技术和TotientPerms算法来找到最佳网络拓扑
在12个节点的情况下，比传统的胖树网络降低了DNN的3.4倍训练时间

实现方法

1. $T_{OPO}O_{PT}$架构

假定有n个Server，每个Server有d个接口，每个接口连接一个Optical Seicth，共计需要d个Optical Switch。Optical Switch可以通过配置可以在内部视作直接连接任意两个端口，从而实现任意两个Server之间的直接连接。

论文中提到Server与Optical Switch之间的连接是使用RDMA网卡，并对其进行了修改：原生RDMA网卡会抛弃非本机的数据，修改后支持数据转发和数据中继。

TOPOOPT的网络连接方式

论文中称Server的端口数量d为Server的Degree，它决定着每个Server与其他Server的连接数量，也是 $T_{OPO}O_{PT}$ 算法的一个计算参数。

2. 交替优化策略

问题：

从计算、通信、网络拓扑三个维度对并行计算进行优化会产生一个非常大的搜索空间，导致该优化问题可能无法求得最优解。

文献阅读《Adaptive and Hierarchical Large Message All-to-all Communication Algorithms...》

Tue, 07 May 2024 00:00:00 +0000

I. 前置内容

在了解集合通信（Collective Communication）之前要先了解点P2P对点通信（Point-to-Point）。P2P通信通常为两个不同进程间的通信，是1对1的；在MPI规范中，既有同步阻塞的P2P接口：MPI_send和MPI_Recv接口，也定义了非阻塞的P2P接口如：MPI_Isend、MPI_Irecve。

集合通信和P2P通信是相对应的，集合通信则是1对多或是多对多的。在分布式系统中，各个节点间往往存在大量的集合通信需求，而我们可以用消息传递接口（Message Passing Interface，MPI）来定义一些比较底层的消息通信行为譬如Reduce、Allreduce、Scatter、Gather、Allgather等。

1.1 系统架构

集合通信算法的优化往往与其对应的网络拓扑和系统架构有直接关系，通常情况下，一个节点内的GPU-GPU或GPU-CPU之间的结构成为系统架构，节点之间的网络连接称为网络拓扑，一种确定的系统架构会有确定的网络拓扑架构。

在HPC领域有很多经典的系统架构和网络拓扑，例如：Summit system或者Lassen system等。本文主要由于发表于2021年，很多系统架构和指标数据与当先最新数据差异较大，但是为了方便后续的理解，本文后续还是以Summit system和Lassen system为例进行分析。

简化的Summit System和Lassen System（论文中的结构）

每个节点包含6个GPU和2个CPU，每3个GPU和1个CPU组成一个Group，使用NVLink进行连接，CPU与CPU之间使用X-Bus进行连接，同时与IB网卡使用PCIe进行连接，节点间使用IB协议进行组网。NVLink、NVSwitch、IB等硬件设备的概念将会在下一节中介绍。

1.2 相关组件

NVLink and NVSwitch

NVLink和NVSwitch是一种可支持服务器内和服务器间实现高级多 GPU 通信的基础模组。第四代NVLink技术可为多 GPU 系统配置提供高于以往 1.5 倍的带宽，以及增强的可扩展性。第三代NVSwitch基于 NVLink 的高级通信能力构建，可为计算密集型工作负载提供更高带宽和更低延迟。
Mellanox InfiniBand

InfiniBand（直译为“无限带宽”技术，缩写为IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。常用的IB交换机/网卡带宽普遍为为400GB/s。
Remote Direct Memory Access (RDMA)

RDMA是一种概念，在两个或者多个计算机进行通讯的时候使用DMA，从一个主机的内存直接访问另一个主机的内存。

1.3 (Non-)Personalized All-to-All

1.3.1 Non-Personalized All-to-All

Non-Personalized All-to-All（通常称为 MPI_Allgather）是一种 MPI 集体通信模式，是 MPI_Gather 和 MPI_Bcast 的结合。所有进程按等级顺序从其他进程收集数据。操作结束时，每个进程都将与所有其他进程交换数据。

1.3.2 Personalized All-to-All

Personalized All-to-All称为 MPI_Alltoall，与 MPI_Allgather 类似，所有进程都相互共享数据。然而，每个进程都会向其他进程发送不同的数据，从而形成一种个性化的集体通信模式（即，每个进程都会向每个其他进程发送不同的数据块）

1.4 相关算法

1.4.1 Ring

每个进程i发送数据给(i+1) \ N并从(i-1) \ N接收数据，但是这种方法会带来过高的延迟。

集合通信-通信原语

Sun, 28 Apr 2024 00:00:00 +0000

参考来源: 分布式训练常用的集合通信及其通信原语, 分布式训练常用的网络结构及集合通信拓扑算法

图片来源：volta-architecture-whitepaper

1 Broadcast

Broadcast属于1对多的通信原语，一个数据发送者，多个数据接收者，可以在集群内把一个节点自身的数据广播到其他节点上。如下图所示，圈圈表示集群中的训练加速卡节点，相同的颜色的小方块则代表相同的数据。当主节点 0 执行Broadcast时，数据即从主节点0被广播至其他节点。

Broadcast是数据的1对多的同步，它将一张XPU卡上的数据同步到其他所有的XPU卡上，其应用场景有：

数据并行的参数初始化，确保每张卡上的初始参数是一致的；
allReduce里的 broadcast + reduce组合里的broadcast操作；
分布式训练parameter server 参数服务器结构里的 master节点 broadcast 数据到worker节点，再从worker节点reduce数据回master节点里的broadcast操作；

2 Scatter

同Broadcast一样，Scatter也是一个1对多的通信原语，也是一个数据发送者，多个数据接收者，可以在集群内把一个节点自身的数据发散到其他节点上。与Broadcast不同的是Broadcast把主节点0的数据发送给所有节点，而Scatter则是将数据的进行切片再分发给集群内所有的节点，如下图所示，不相同的颜色的小方块代表不相同的数据，主节点 0 将数据分为四份分发到了节点0-3。

Scatter是数据的1对多的分发，它将一张XPU卡上的数据进行分片再分发到其他所有的XPU卡上，他的反向操作对应Gather，其应用场景有：

ReduceScatter组合里的 Scatter操作；
模型并行里初始化时将模型scatter到不同的XPU上；

3 Gather

Gather操作属于多对1的通信原语，具有多个数据发送者，一个数据接收者，可以在集群内把多个节点的数据收集到一个节点上，如下图所示，不相同的颜色的小方块代表不相同的数据。

Gather是数据的多对1的收集，它将多张XPU卡上的数据收集到1张XPU卡上，它的反向操作对应Scatter，其应用场景有：

ReduceScatter组合里的 Scatter操作；

4 Reduce

Reduce属于多对1的通信原语，具有多个数据发送者，一个数据接收者，可以在集群内把多个节点的数据规约运算到一个主节点上，常用的规约操作符有：求累加和SUM、求累乘积PROD、求最大值MAX、求最小值MIN、逻辑与 LAND、按位与BAND、逻辑或LOR、按位或BOR、逻辑异或LXOR、按位异或BOXR、求最大值和最小大的位置MAXLOC、求最小值和最小值的位置MINLOC等，这些规约运算也需要加速卡支持对应的算子才能生效。

Reuduce操作从集群内每个节点上获取一个输入数据，通过规约运算操作后，得到精简数据，如下图的SUM求累加和：节点0数值 5、节点1数值6、节点2数值7、节点3数值8，经过SUM运算后累积和为 26，即得到更为精简的数值，在reduce原语里回会去调用 reduce SUM算子来完成这个求和累加。

Reduce是数据的多对1的规约运算，它将所有张XPU卡上的数据规约（比如SUM求和）到1张XPU卡上，其应用场景有：

HCCL集合通信测试环境设置

Thu, 18 Apr 2024 00:00:00 +0000

1. 快速使用

HCCL（Huawei Collective Communication Library）是基于昇腾AI处理器的高性能集合通信库，其主要功能与作用与Nvidia的NCCL库相似，主要用于集合通信，CANN库种自带一套测试工具用以分析集合通信性能。

1.1 编译环境配置

前置环境配置阶段请参考Llama2部署记录，后续的所有流程均需要在具备HCCL硬件的平台上实现，需要注意的是，建议使用的Ubuntu版本大于等于20.04LTS，否则可能会遇到VSCode不支持的情况。

A. CANN

CANN的配置过程参考Llama2部署记录文档的4. 安装CANN章节，并记录安装位置，以备后续使用

完成CANN后，建议在~/.bashrc文件中添加对应的环境变量，例如：

 # 使用nano打开~/.bashrc文件
 nano ~/.bashrc

在文件的最后添加export ASCEND_HOME=/usr/local/Ascend/ascend-toolkit/latest

B. OpenMPI

在OpenMPI官网找到对应版本的安装包下载，然后解压缩安装包，以mpich-4.2.0版本为例：

 # mpich下载链接参考：https://www.mpich.org/static/downloads
 wget https://www.mpich.org/static/downloads/4.2.0/mpich-4.2.0.tar.gz
 # 解压缩mpich压缩包
 tar -zxvf mpich-4.2.0.tar.gz

配置mpi的安装路径，以/root/mpich路径为例：

 # 新建文件夹
 mkdir ~/mpich
 # 进入解压缩后的mpich文件夹
 cd mpich-4.2.0
 # 配置安装路径
 ./configure -prefix=/root/mpich --disable-fortran

使用make命令构建mpich的可执行文件，该过程可能耗时比较长

 make
 make install

完后后将mpich添加到环境变量种，并添加对应的链接库和帮助文件

 # 修改~/.bashrc文件
 nano ~/.bashrc

在最后一行添加以下内容：

export MPI_HOME=/root/mpich
export PATH=$MPI_HOME/bin:$PATH

Llama2部署记录

Tue, 09 Apr 2024 00:00:00 +0000

1. 创建docker

1.1 docker命令

显示全部的镜像：docker images
创建一个容器：docker run ...<查看1.2节内容>
显示全部的容器：docker ps -a
启动一个容器：docker start <id>
停止一个容器：docker stop <id>
进入一个正在运行的程序：docker exec -it <id> /bin/bash
删除一个容器：docker rm <id>

1.2 创建容器

创建一个docker容器的时候需要同时挂载本地工作目录和相关的程序驱动，因此创建docker容器的命令参数较多，以下为一个创建docker容器命令的基本格式：

 docker run -it --ipc=host --name <name> -v <local_path>:<docker_path> \
     --workdir=<docker_path> \
     --pids-limit 409600 \
     --privileged --network=host \
     --shm-size=128G \
     --device=/dev/davinci0 \
     --device=/dev/davinci1 \
     --device=/dev/davinci2 \
     --device=/dev/davinci3 \
     --device=/dev/davinci4 \
     --device=/dev/davinci5 \
     --device=/dev/davinci6 \
     --device=/dev/davinci7 \
     --device=/dev/davinci_manager \
     --device=/dev/devmm_svm \
     --device=/dev/hisi_hdc \
     -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
     -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
     -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \
     -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
     -v /usr/local/dcmi:/usr/local/dcmi \
     -v /etc/ascend_install.info:/etc/ascend_install.info \
     -v /etc/bashrc:/etc/bashrc \
     -p 223:223 \
     -p 224:6006 \
     -p 225:8080 \
     -p 226:8888 \    
     -u root \
    <image_id> /bin/bash

-it：已交互方式运行容器，并分配一个终端

3D并行（3D Parallelism）

Mon, 01 Apr 2024 00:00:00 +0000

参考文献：

Narayanan D, Shoeybi M, Casper J, et al. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM: SC’ 21, November 14-19, 2021, St. Louis, MO, USA
\[C\]
, 2021. ACM, 2021-01-01.

单一的MP或DP无法硬度继续增长的大模型算力需求，面对成千上万的GPU集群规模增长，结合TP、PP、DP等多种方式组成3D Parallelism的并行方式逐渐成为了主流的并行计算框架。

1. 基于Megatron-LM

1.1 研究背景

单一的DP、TP、PP方法无法满足日益增长的模型参数量，因此提出一种基于多种并行方法的PTD-P并行技术。

1.2 实现方法

图. 默认的Pipeline调度（上）和插值的Pipeline调度（下）

对每个设备上运行的网络层进行进一步拆分，每个子集称为一个Chunk，在图（下）中用深色和浅色两种颜色表示
假设一共4个Device，每个Device可以分为4层（例如：在Device 1上运行1~4层，Device 2上运行5-8），则可以将每个设备的计算过程分为两个Chunk（每个Chunk需要计算两层网络）例如：Device 1对应1，2，9，10四层，Device 2对应3，4，11，12四层。
以Device 3为例，为什么运行完Chunk 2的Batch2后需要Wait，而不是直接运行Batch 3？只是为了展示插值的概念？

1.3 实验结论

提出一种插值Pipeline调度算法，实现在3072个GPU上训练1T参数的训练，总体算力达到502PFLOPS，单个GPU的算力达到了理论峰值的52%。
相比较ZeRO-3（不带MP），因为减少了通信量，在175B和530B规模的大模型上效果要好70%
插值Pipeline调度算法可以增加计算密集度，但是对通信的开销也会增加
PP在较大的模型上效率更高，效果更好，TP的并行方式会增加不同设备之间的通信量
重算技术只是一个为了平衡内存与算力之间可选的技术，会降低内存消耗，但同时也会增加1/3的算力消耗
高度的MP可能会导致较小的矩阵乘运算，降低GPU的利用率

1.4 实验数据

本文对PTD-P模型中，GPU数量、全局Batch Size、Microbatch Size、Bubble Time、Throughput等多个参量进行多角度多变量讨论

Nvidia GPU与Huawei NPU

Mon, 01 Apr 2024 00:00:00 +0000

1. Nvidia GPU

参考文献：

HeKun-NVIDIA. CUDA-Programming-Guide-in-Chinese
\[EB/OL\]
. https://github.com/HeKun-NVIDIA/CUDA-Programming-Guide-in-Chinese.

Nvidia. Nvidia CUDA编程指南
\[M\]
. 1.1. Nvidia, 2008.

1.1 GPU架构

软件层面架构：Nvidia GPU的架构在进行CUDA软件操作时可以抽象为：Thread->Block->Grid三层，通过指定这三个参数可以精确的控制目标运算放在目标的Thread上进行计算。

硬件层面架构：在硬件层可以讲GPU抽象为：SP(Streaming Processor)->SM(Streaming Multiprocessor)->Device三层，基本对应CUDA软件编程层面的Thread->Block->Grid，Nvidia的GPU在指令集上属于是SIMD（Single Instruction Multiple Data）架构，可以实现单条指令在多个数据的并行处理。

集群层面架构：在集群层面，一般按照Host-Device结构划分，其中一个Host可以视作一个由CPU、GPU、内存、硬盘等组成的主机，Device一般特指某一个指定的GPU设备，也就是软件层面的Grid。

图. Nvidia的GPU架构

A. SP / Thread

GPU上每个SP主要由ALU（逻辑控制单元）与FPU（浮点运算单元）组成，可以进行简单的逻辑运算与浮点运算，每个SP在对应软件层面可以操作的一个Thread，也是开发者可以操作的最小单元，用户可以借助CUDA在Thread上实现SPMD（Single Program Multiple Data）操作。

B. MP / Block

多个Thread组成一个Block，同一个Block上的Thread共享同一块内存（Shared Memory），这种方法可以实现同一个Block上并行的Thread可以并行的对同一块内存中的数据进行操作。

在进行CUDA编程时，开发者可以借助一个SM控制多个Block中的Thread进行运算，SM中还包含一些必要的寄存器、共享内存、L1Cache、Scheduler、SPU、LD/ST单元等。

C. Device / Grid

多个Block一起共同组成一个Grid，也就是硬件层面与集群层面的Device，借助该概念可以实现集群中多个GPU之间的数据传输和并行计算。

1.2 GPU编程

Nvidia的GPU上有多个Thread可以并行的完成矩阵运算，例如在进行通用矩阵乘（GEMM，General matrix multiply）时，不同Thread在共享内存中取出对应位置的数据进行计算，并讲结果重新放置在共享内存中以实现GEMM的并行计算。

图. 使用共享内存并行计算矩阵乘

在代码层面的实现过程大致如下：

 // Host层面的矩阵乘，假定矩阵的维度是BLOCK_SIZE的整数倍
 void MatMul(const Matrix A, const Matrix B, Matrix C) {
     // 从显存中加载A和B两个矩阵的数据
     cudaMalloc(..., size);
     cudaMemcpy(..., ..., size, cudaMemcpyHostToDevice);
     // 从设备显存中申请储存乘法运算结果的矩阵C
     cudaMalloc(&d_C.elements, size);
     // 调用内核
     MatMulKernel<<<dimGrid, dimBlock>>>(d_A, d_B, d_C); // <<<dimGrid, dimBlock>>>
     // 从显存中获取计算结果C
     cudaMemcpy(..., ..., size, cudaMemcpyDeviceToHost); 
     // 释放显存
     cudaFree(...);
 }
 // 调用MatMul()以实现Kernel层的矩阵乘
 __global__ void MatMulKernel(Matrix A, Matrix B, Matrix C) { // __global__
     // 每个Thread计算矩阵C中的一个元素，并将结果累加到CValue中
     float Cvalue = 0;
     int row = blockIdx.y * blockDim.y + threadIdx.y;
     int col = blockIdx.x * blockDim.x + threadIdx.x;
     for (int e = 0; e < A.width; ++e)
         Cvalue += A.elements[row * A.width + e] * B.elements[e * B.width + col];
     C.elements[row * C.width + col] = Cvalue;
 }

2. Huawei NPU

Huawei的NPU设备Ascend 910B相较于Nvidia的GPU做了一些有针对性的优化，同时由于NPU主要针对神经网络训练与推理，因此其在芯片设计架构上与Nvidia的GPU拥有完全不同的设计思路。

流水线并行（Pipeline Parallelism）

Mon, 01 Apr 2024 00:00:00 +0000

参考文献：

Huang Y, Cheng Y, Chen D, et al. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism: 33rd Conference on Neural Information Processing Systems (NeurIPS 2019),
\[C\]
, Vancouver, Canada, 2018.

Harlap A, Narayanan D, Phanishayee A, et al. PipeDream: Fast and Efficient Pipeline Parallel DNN Training
\[J\]
. ArXiv, 2018,abs/1806.03377.

Kim T, Kim H, Yu G, et al. BPipe: Memory-Balanced Pipeline Parallelism for Training Large Language Models: Proceedings of the 40th International Conference on Machine Learning

数据并行（Data Parallelism）

Mon, 01 Apr 2024 00:00:00 +0000

参考文献：

Team D, Majumder R, President V, et al. DeepSpeed: Extreme-scale model training for everyone
\[J\]
. Microsoft, 2020.

Rajbhandari S, Rasley J, Ruwase O, et al. ZeRO: Memory optimizations Toward Training Trillion Parameter Models
\[C\]
, 2020. IEEE, 2020-01-01.

Ren J, Rajbhandari S, Aminabadi R Y, et al. ZeRO-Offload: Democratizing Billion-Scale Model Training
\[J\]
. arXiv.org, 2021.

Rajbhandari S, Ruwase O, Rasley J, et al. ZeRO-Infinity: Breaking the GPU MemoryWall for Extreme Scale Deep Learning: SC’ 21, November 14–19, 2021, St. Louis, MO, USA

异构集群（Heterogeneous Clusters）

Mon, 01 Apr 2024 00:00:00 +0000

1. HeteroG

参考文献：

Yi X, Zhang S, Luo Z, et al. Optimizing Distributed Training Deployment in Heterogeneous GPU Clusters: Proceedings of the 16th International Conference on emerging Networking EXperiments and Technologies
\[C\]
, Barcelona, Spain, 2020. Association for Computing Machinery.

一个集群中的GPU型号和性能可能都有所不同，但是在并行计算的时候往往假设每个参与并行的设备算力都是相等的，但是实际上由许多不同型号的GPU组成的集群仍然存在，为了解决这个问题，有相关的研究者提出了HeteroG方法，在异构集群上实现有效率的并行计算。

图. HeteroG的工作流程图

首先对开发者构建的网络进行分析，根据模型的需要决定是否需要进行MP
然后根据策略将模型分发到各个设备上进行开销测试（Profiler）和仿真计算（Simulator）然后根据这个测试结果指定相应的并行策略（Strategy Maker）
完成策略制定后重新对网络图进行重新编译（根据MP和DP的测算结果决定）然后开始并行计算
这个工作主要由一个经过训练的神经网络完成

最终实验结果证明与当前其他的并行策略相比，在异构集群的并行计算上有222%的性能提升。

张量并行（Tensor Parallelism）

Mon, 01 Apr 2024 00:00:00 +0000

参考文献：

Shoeybi M, Patwary M, Puri R, et al. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
\[J\]
. ArXiv, 2020

张量并行（Tensor Parallelism，TP）属于模型并行（Model Parallelism，MP）中的一种，通过对Tensor的拆分，将一次Tensor计算拆分到多台设备上进行并行的计算，并将计算结果最终合并为目标张量。

1. Megatron-LM

Megatron-LM是Nvidia提出的一种Tensor Parallelism方式，它的核心思想是将模型进行纵向分割（假定模型为由下向上的传递方式），Megatron-LM的TP主要针对基于Transformer，通过对Transformer中的Self-Attention和MLP进行拆分并行。

1.1 研究背景

在研究MP技术时，从数学上对矩阵计算的角度上发现针对Transformer可以进行纵向分割，从而在纵向分割上实现并行加速，由于这种方法将一个张量分割为多个张量并行计算，因此该方法属于Tensor Parallelism。

1.2 实现方法

图. Tensor Parallelism对Transformer中两部分的并行过程

针对Transformer中的MLP单元
- MLP在并行之前的运算过程可以表示为：Z=Dropout(GeLU(XA) B)，其中X为输入数据，Z为输出数据，A和B分别为神经网络的参数
- 在并行时，可以将A矩阵按照列拆分为A=
  \[A_1, A_2\]
  两部分，并将其分别放置到两个设备中分别对输入的X进行计算，并分别获得结果Y_1=GeLU(X A_1)和Y_2=GeLU(X A_2)
- 对矩阵B按照行拆分成两部分，并分别放置到两个设备中B=
  \[B_1; B_2\]
- 假设输入的X矩阵的维度为m x n大小的，则可用如下公式描述输入矩阵A
  $$X=\left[ \begin{matrix} x_{1,1} & \cdots & x_{1,n} \\ \vdots & \ddots & \vdots \\ x_{m,1} & \cdots & x_{m,n} \\ \end{matrix} \right] =\left[ \begin{matrix} X_1\\X_2 \end{matrix} \right]$$
- 假设MLP中的矩阵A的维度为n x k，且定义h=k/2，则定义矩阵A如下：

通用LaTex数学公式语法手册

Sat, 02 Dec 2023 00:00:00 +0000

MathJax是一款运行于 Web 浏览器当中的开源 JavaScript 数学符号渲染引擎，通过它可以方便的在现代 Web 浏览器当中显示数学公式，目前已经能够解析 LaTex、MathML 等标记语言。MathJax 项目发源于 2009 年，目前由 NumFOCUS 基金会主持，并且得到了 MathJax 联盟的支持，该联盟是美国数学协会（AMS）和 工业与应用数学协会（SIAM）的共同合资企业。

LaTeX是一种高质量的排版格式，可以生成复杂的表格与数学公式，是当前电子与数学出版行业的事实标准。本文以 Pandoc作为 LaTex 渲染引擎（一款用于标记语言文档转换的命令行工具），分门别类的总结了撰写数学公式所需要经常使用到的 LaTeX 语法，方便写作相关科技类文章时随手查阅。

1. 希腊字母

序号	标准符号	LaTeX	首字母大写	LaTeX	使用 `var` 前缀	LaTeX	读音
1	$\alpha$	`\alpha`					/ˈælfə/
2	$\beta$	`\beta`					/ˈbeɪtə/
3	$\gamma$	`\gamma`	$\Gamma$	`\Gamma`	$\varGamma$	`\varGamma`	/ˈɡæmə/
4	$\delta$	`\delta`	$\Delta$	`\Delta`	$\varDelta$	`\varDelta`	/ˈdɛltə/
5	$\epsilon$	`\epsilon`			$\varepsilon$	`\varepsilon`	/ˈɛpsɪlɒn/
6	$\zeta$	`\zeta`					/ˈzeɪtə/
7	$\eta$	`\eta`					/ˈeɪtə/
8	$\theta$	`\theta`	$\Theta$	`\Theta`	$\vartheta$、$\varTheta$	`\vartheta`、`\varTheta`	/ˈθiːtə/
9	$\iota$	`\iota`					/aɪˈoʊtə/
10	$\kappa$	`\kappa`			$\varkappa$	`\varkappa`	/ˈkæpə/
11	$\lambda$	`\lambda`	$\Lambda$	`\Lambda`	$\varLambda$	`\varLambda`	/ˈlæmdə/
12	$\mu$	`\mu`					/mjuː/
13	$\nu$	`\nu`					/njuː/
14	$\xi$	`\xi`	$\Xi$	`\Xi`	$\varXi$	`\varXi`	/zaɪ, ksaɪ/
15	$o$	`o`	$O$	`O`			/ˈɒmɪkrɒn/
16	$\pi$	`\pi`	$\Pi$	`\Pi`	$\varpi$、$\varPi$	`\varpi`、`\varPi`	/paɪ/
17	$\rho$	`\rho`			$\varrho$	`\varrho`	/roʊ/
18	$\sigma$	`\sigma`	$\Sigma$	`\Sigma`	$\varsigma$、$\varSigma$	`\varsigma`、`\varSigma`	/ˈsɪɡmə/
19	$\tau$	`\tau`					/taʊ, tɔː/
20	$\upsilon$	`\upsilon`	$\Upsilon$	`\Upsilon`	$\varUpsilon$	`\varUpsilon`	/ˈʌpsɪlɒn/
21	$\phi$	`\phi`	$\Phi$	`\Phi`	$\varphi$、$\varPhi$	`\varphi`、`\varPhi`	/faɪ/
22	$\chi$	`\chi`					/kaɪ/
23	$\psi$	`\psi`	$\Psi$	`\Psi`	$\varPsi$	`\varPsi`	/psaɪ/
24	$\omega$	`\omega`	$\Omega$	`\Omega`	$\varOmega$	`\varOmega`	/oʊˈmeɪɡə/
25	$\digamma$	`\digamma`					/daɪ'gæmə/

2. 二元运算符

序号	符号	LaTeX	序号	符号	LaTeX
1	$+$	`+`	20	$\bullet$	`\bullet`
2	$-$	`-`	21	$\oplus$	`\oplus`
3	$\times$	`\times`	22	$\ominus$	`\ominus`
4	$\div$	`\div`	23	$\odot$	`\odot`
5	$\pm$	`\pm`	24	$\oslash$	`\oslash`
6	$\mp$	`\mp`	25	$\otimes$	`\otimes`
7	$\triangleleft$	`\triangleleft`	26	$\bigcirc$	`\bigcirc`
8	$\triangleright$	`\triangleright`	27	$\diamond$	`\diamond`
9	$\cdot$	`\cdot`	28	$\uplus$	`\uplus`
10	$\setminus$	`\setminus`	29	$\bigtriangleup$	`\bigtriangleup`
11	$\star$	`\star`	30	$\bigtriangledown$	`\bigtriangledown`
12	$\ast$	`\ast`	31	$\lhd$	`\lhd`
13	$\cup$	`\cup`	32	$\rhd$	`\rhd`
14	$\cap$	`\cap`	33	$\unlhd$	`\unlhd`
15	$\sqcup$	`\sqcup`	34	$\unrhd$	`\unrhd`
16	$\sqcap$	`\sqcap`	35	$\amalg$	`\amalg`
17	$\vee$	`\vee`	36	$\wr$	`\wr`
18	$\wedge$	`\wedge`	37	$\dagger$	`\dagger`
19	$\circ$	`\circ`	38	$\ddagger$	`\ddagger`

3. 二元关系符

序号	符号	LaTeX	序号	符号	LaTeX
1	$=$	`=`	49	$\gneq$	`\gneq`
2	$\ne$	`\ne`	50	$\geqq$	`\geqq`
3	$\neq$	`\neq`	51	$\ngeq$	`\ngeq`
4	$\equiv$	`\equiv`	52	$\ngeqq$	`\ngeqq`
5	$\not\equiv$	`\not\equiv`	53	$\gneqq$	`\gneqq`
6	$\doteq$	`\doteq`	54	$\gvertneqq$	`\gvertneqq`
7	$\doteqdot$	`\doteqdot`	55	$\lessgtr$	`\lessgtr`
8	$\overset{\underset{\mathrm{def}}{}}{=}$	`\overset{\underset{\mathrm{def}}{}}{=}`	56	$\lesseqgtr$	`\lesseqgtr`
9	$:=$	`:=`	57	$\lesseqqgtr$	`\lesseqqgtr`
10	$\sim$	`\sim`	58	$\gtrless$	`\gtrless`
11	$\nsim$	`\nsim`	59	$\gtreqless$	`\gtreqless`
12	$\backsim$	`\backsim`	60	$\gtreqqless$	`\gtreqqless`
13	$\thicksim$	`\thicksim`	61	$\leqslant$	`\leqslant`
14	$\simeq$	`\simeq`	62	$\nleqslant$	`\nleqslant`
15	$\backsimeq$	`\backsimeq`	63	$\eqslantless$	`\eqslantless`
16	$\eqsim$	`\eqsim`	64	$\geqslant$	`\geqslant`
17	$\cong$	`\cong`	65	$\ngeqslant$	`\ngeqslant`
18	$\ncong$	`\ncong`	66	$\eqslantgtr$	`\eqslantgtr`
19	$\approx$	`\approx`	67	$\lesssim$	`\lesssim`
20	$\thickapprox$	`\thickapprox`	68	$\lnsim$	`\lnsim`
21	$\approxeq$	`\approxeq`	69	$\lessapprox$	`\lessapprox`
22	$\asymp$	`\asymp`	70	$\lnapprox$	`\lnapprox`
23	$\propto$	`\propto`	71	$\gtrsim$	`\gtrsim`
24	$\varpropto$	`\varpropto`	72	$\gnsim$	`\gnsim`
25	$<$	`<`	73	$\gtrapprox$	`\gtrapprox`
26	$\nless$	`\nless`	74	$\gnapprox$	`\gnapprox`
27	$\ll$	`\ll`	75	$\prec$	`\prec`
28	$\not\ll$	`\not\ll`	76	$\nprec$	`\nprec`
29	$\lll$	`\lll`	77	$\preceq$	`\preceq`
30	$\not\lll$	`\not\lll`	78	$\npreceq$	`\npreceq`
31	$\lessdot$	`\lessdot`	79	$\precneqq$	`\precneqq`
32	$>$	`>`	80	$\succ$	`\succ`
33	$\ngtr$	`\ngtr`	81	$\nsucc$	`\nsucc`
34	$\gg$	`\gg`	82	$\succeq$	`\succeq`
35	$\not\gg$	`\not\gg`	83	$\nsucceq$	`\nsucceq`
36	$\ggg$	`\ggg`	84	$\succneqq$	`\succneqq`
37	$\not\ggg$	`\not\ggg`	85	$\preccurlyeq$	`\preccurlyeq`
38	$\gtrdot$	`\gtrdot`	86	$\curlyeqprec$	`\curlyeqprec`
39	$\le$	`\le`	87	$\succcurlyeq$	`\succcurlyeq`
40	$\leq$	`\leq`	88	$\curlyeqsucc$	`\curlyeqsucc`
41	$\lneq$	`\lneq`	89	$\precsim$	`\precsim`
42	$\leqq$	`\leqq`	90	$\precnsim$	`\precnsim`
43	$\nleq$	`\nleq`	91	$\precapprox$	`\precapprox`
44	$\nleqq$	`\nleqq`	92	$\precnapprox$	`\precnapprox`
45	$\lneqq$	`\lneqq`	93	$\succsim$	`\succsim`
46	$\lvertneqq$	`\lvertneqq`	94	$\succnsim$	`\succnsim`
47	$\ge$	`\ge`	95	$\succapprox$	`\succapprox`
48	$\geq$	`\geq`	96	$\succnapprox$	`\succnapprox`

4. 逻辑符号

序号	符号	LaTeX	序号	符号	LaTeX
1	$\forall$	`\forall`	20	$\neg$	`\neg`
2	$\exists$	`\exists`	21	$\not\operatorname{R}$	`\not\operatorname{R}`
3	$\nexists$	`\nexists`	22	$\bot$	`\bot`
4	$\therefore$	`\therefore`	23	$\top$	`\top`
5	$\because$	`\because`	24	$\vdash$	`\vdash`
6	$\And$	`\And`	25	$\dashv$	`\dashv`
7	$\lor$	`\lor`	26	$\vDash$	`\vDash`
8	$\vee$	`\vee`	27	$\Vdash$	`\Vdash`
9	$\curlyvee$	`\curlyvee`	28	$\models$	`\models`
10	$\bigvee$	`\bigvee`	29	$\Vvdash$	`\Vvdash`
11	$\land$	`\land`	30	$\nvdash$	`\nvdash`
12	$\wedge$	`\wedge`	31	$\nVdash$	`\nVdash`
13	$\curlywedge$	`\curlywedge`	32	$\nvDash$	`\nvDash`
14	$\bigwedge$	`\bigwedge`	33	$\nVDash$	`\nVDash`
15	$\bar{q}$	`\bar{q}`	34	$\ulcorner$	`\ulcorner`
16	$\bar{abc}$	`\bar{abc}`	35	$\urcorner$	`\urcorner`
17	$\overline{q}$	`\overline{q}`	36	$\llcorner$	`\llcorner`
18	$\overline{abc}$	`\overline{abc}`	37	$\lrcorner$	`\lrcorner`
19	$\lnot$	`\lnot`

5. 集合符号

序号	符号	LaTeX	序号	符号	LaTeX
1	$\{ \}$	`\{ \}`	23	$\sqsubset$	`\sqsubset`
2	$\emptyset$	`\emptyset`	24	$\supset$	`\supset`
3	$\varnothing$	`\varnothing`	25	$\Supset$	`\Supset`
4	$\in$	`\in`	26	$\sqsupset$	`\sqsupset`
5	$\notin$	`\notin`	27	$\subseteq$	`\subseteq`
6	$\ni$	`\ni`	28	$\nsubseteq$	`\nsubseteq`
7	$\cap$	`\cap`	29	$\subsetneq$	`\subsetneq`
8	$\Cap$	`\Cap`	30	$\varsubsetneq$	`\varsubsetneq`
9	$\sqcap$	`\sqcap`	31	$\sqsubseteq$	`\sqsubseteq`
10	$\bigcap$	`\bigcap`	32	$\supseteq$	`\supseteq`
11	$\cup$	`\cup`	33	$\nsupseteq$	`\nsupseteq`
12	$\Cup$	`\Cup`	34	$\supsetneq$	`\supsetneq`
13	$\sqcup$	`\sqcup`	35	$\varsupsetneq$	`\varsupsetneq`
14	$\bigcup$	`\bigcup`	36	$\sqsupseteq$	`\sqsupseteq`
15	$\bigsqcup$	`\bigsqcup`	37	$\subseteqq$	`\subseteqq`
16	$\uplus$	`\uplus`	38	$\nsubseteqq$	`\nsubseteqq`
17	$\biguplus$	`\biguplus`	39	$\subsetneqq$	`\subsetneqq`
18	$\setminus$	`\setminus`	40	$\varsubsetneqq$	`\varsubsetneqq`
19	$\smallsetminus$	`\smallsetminus`	41	$\supseteqq$	`\supseteqq`
20	$\times$	`\times`	42	$\nsupseteqq$	`\nsupseteqq`
21	$\subset$	`\subset`	43	$\supsetneqq$	`\supsetneqq`
22	$\Subset$	`\Subset`	44	$\varsupsetneqq$	`\varsupsetneqq`

6. 箭头符号

序号	符号	LaTeX	序号	符号	LaTeX
1	$\Rrightarrow$	`\Rrightarrow`	36	$\longmapsto$	`\longmapsto`
2	$\Lleftarrow$	`\Lleftarrow`	37	$\rightharpoonup$	`\rightharpoonup`
3	$\Rightarrow$	`\Rightarrow`	38	$\rightharpoondown$	`\rightharpoondown`
4	$\nRightarrow$	`\nRightarrow`	39	$\leftharpoonup$	`\leftharpoonup`
5	$\Longrightarrow$	`\Longrightarrow`	40	$\leftharpoondown$	`\leftharpoondown`
6	$\implies$	`\implies`	41	$\upharpoonleft$	`\upharpoonleft`
7	$\Leftarrow$	`\Leftarrow`	42	$\upharpoonright$	`\upharpoonright`
8	$\nLeftarrow$	`\nLeftarrow`	43	$\downharpoonleft$	`\downharpoonleft`
9	$\Longleftarrow$	`\Longleftarrow`	44	$\downharpoonright$	`\downharpoonright`
10	$\Leftrightarrow$	`\Leftrightarrow`	45	$\rightleftharpoons$	`\rightleftharpoons`
11	$\nLeftrightarrow$	`\nLeftrightarrow`	46	$\leftrightharpoons$	`\leftrightharpoons`
12	$\Longleftrightarrow$	`\Longleftrightarrow`	47	$\curvearrowleft$	`\curvearrowleft`
13	$\iff$	`\iff`	48	$\circlearrowleft$	`\circlearrowleft`
14	$\Uparrow$	`\Uparrow`	49	$\Lsh$	`\Lsh`
15	$\Downarrow$	`\Downarrow`	50	$\upuparrows$	`\upuparrows`
16	$\Updownarrow$	`\Updownarrow`	51	$\rightrightarrows$	`\rightrightarrows`
17	$\rightarrow$	`\rightarrow`	52	$\rightleftarrows$	`\rightleftarrows`
18	$\to$	`\to`	53	$\rightarrowtail$	`\rightarrowtail`
19	$\nrightarrow$	`\nrightarrow`	54	$\looparrowright$	`\looparrowright`
20	$\longrightarrow$	`\longrightarrow`	55	$\curvearrowright$	`\curvearrowright`
21	$\leftarrow$	`\leftarrow`	56	$\circlearrowright$	`\circlearrowright`
22	$\gets$	`\gets`	57	$\Rsh$	`\Rsh`
23	$\nleftarrow$	`\nleftarrow`	58	$\downdownarrows$	`\downdownarrows`
24	$\longleftarrow$	`\longleftarrow`	59	$\leftleftarrows$	`\leftleftarrows`
25	$\leftrightarrow$	`\leftrightarrow`	60	$\leftrightarrows$	`\leftrightarrows`
26	$\nleftrightarrow$	`\nleftrightarrow`	61	$\leftarrowtail$	`\leftarrowtail`
27	$\longleftrightarrow$	`\longleftrightarrow`	62	$\looparrowleft$	`\looparrowleft`
28	$\uparrow$	`\uparrow`	63	$\hookrightarrow$	`\hookrightarrow`
29	$\downarrow$	`\downarrow`	64	$\hookleftarrow$	`\hookleftarrow`
30	$\updownarrow$	`\updownarrow`	65	$\multimap$	`\multimap`
31	$\nearrow$	`\nearrow`	66	$\leftrightsquigarrow$	`\leftrightsquigarrow`
32	$\swarrow$	`\swarrow`	67	$\rightsquigarrow$	`\rightsquigarrow`
33	$\nwarrow$	`\nwarrow`	68	$\twoheadrightarrow$	`\twoheadrightarrow`
34	$\searrow$	`\searrow`	69	$\twoheadleftarrow$	`\twoheadleftarrow`
35	$\mapsto$	`\mapsto`

7. 特殊符号

序号	符号	LaTeX	序号	符号	LaTeX
1	$\infty$	`\infty`	33	$\flat$	`\flat`
2	$\aleph$	`\aleph`	34	$\natural$	`\natural`
3	$\complement$	`\complement`	35	$\sharp$	`\sharp`
4	$\backepsilon$	`\backepsilon`	36	$\diagup$	`\diagup`
5	$\eth$	`\eth`	37	$\diagdown$	`\diagdown`
6	$\Finv$	`\Finv`	38	$\centerdot$	`\centerdot`
7	$\hbar$	`\hbar`	39	$\ltimes$	`\ltimes`
8	$\Im$	`\Im`	40	$\rtimes$	`\rtimes`
9	$\imath$	`\imath`	41	$\leftthreetimes$	`\leftthreetimes`
10	$\jmath$	`\jmath`	42	$\rightthreetimes$	`\rightthreetimes`
11	$\Bbbk$	`\Bbbk`	43	$\eqcirc$	`\eqcirc`
12	$\ell$	`\ell`	44	$\circeq$	`\circeq`
13	$\mho$	`\mho`	45	$\triangleq$	`\triangleq`
14	$\wp$	`\wp`	46	$\bumpeq$	`\bumpeq`
15	$\Re$	`\Re`	47	$\Bumpeq$	`\Bumpeq`
16	$\circledS$	`\circledS`	48	$\doteqdot$	`\doteqdot`
17	$\amalg$	`\amalg`	49	$\risingdotseq$	`\risingdotseq`
18	$\%$	`\%`	50	$\fallingdotseq$	`\fallingdotseq`
19	$\dagger$	`\dagger`	51	$\intercal$	`\intercal`
20	$\ddagger$	`\ddagger`	52	$\barwedge$	`\barwedge`
21	$\ldots$	`\ldots`	53	$\veebar$	`\veebar`
22	$\cdots$	`\cdots`	54	$\doublebarwedge$	`\doublebarwedge`
23	$\smile$	`\smile`	55	$\between$	`\between`
24	$\frown$	`\frown`	56	$\pitchfork$	`\pitchfork`
25	$\wr$	`\wr`	57	$\vartriangleleft$	`\vartriangleleft`
26	$\triangleleft$	`\triangleleft`	58	$\ntriangleleft$	`\ntriangleleft`
27	$\triangleright$	`\triangleright`	59	$\vartriangleright$	`\vartriangleright`
28	$\diamondsuit$	`\diamondsuit`	60	$\ntriangleright$	`\ntriangleright`
29	$\heartsuit$	`\heartsuit`	61	$\trianglelefteq$	`\trianglelefteq`
30	$\clubsuit$	`\clubsuit`	62	$\ntrianglelefteq$	`\ntrianglelefteq`
31	$\spadesuit$	`\spadesuit`	63	$\trianglerighteq$	`\trianglerighteq`
32	$\Game$	`\Game`	64	$\ntrianglerighteq$	`\ntrianglerighteq`

8. 分数

类型	符号	LaTeX
分数	$\frac{2}{4}x=0.5x or {2 \over 4}x=0.5x$	`\frac{2}{4}x=0.5x or {2 \over 4}x=0.5x`
小型分数	$\tfrac{2}{4}x = 0.5x$	`\tfrac{2}{4}x = 0.5x`
大型分数（嵌套）	$\cfrac{2}{c + \cfrac{2}{d + \cfrac{2}{4}}} = a$	`\cfrac{2}{c + \cfrac{2}{d + \cfrac{2}{4}}} = a`

9. 数值函数

符号	LaTeX
$\exp_a b = a^b, \exp b = e^b, 10^m$	`\exp_a b = a^b, \exp b = e^b, 10^m`
$\ln c, \lg d = \log e, \log_{10} f$	`\ln c, \lg d = \log e, \log_{10} f`
$\sin a, \cos b, \tan c, \cot d, \sec e, \csc f$	`\sin a, \cos b, \tan c, \cot d, \sec e, \csc f`
$\arcsin a, \arccos b, \arctan c$	`\arcsin a, \arccos b, \arctan c`
$\operatorname{arccot} d, \operatorname{arcsec} e, \operatorname{arccsc} f$	`\operatorname{arccot} d, \operatorname{arcsec} e, \operatorname{arccsc} f`
$\sinh a, \cosh b, \tanh c, \coth d$	`\sinh a, \cosh b, \tanh c, \coth d`
$\operatorname{sh}k, \operatorname{ch}l, \operatorname{th}m, \operatorname{coth}n$	`\operatorname{sh}k, \operatorname{ch}l, \operatorname{th}m, \operatorname{coth}n`
$\operatorname{argsh}o, \operatorname{argch}p, \operatorname{argth}q$	`\operatorname{argsh}o, \operatorname{argch}p, \operatorname{argth}q`
$\operatorname{sgn}r, \left\vert s \right\vert$	`\operatorname{sgn}r, \left\vert s \right\vert`
$\min(x,y), \max(x,y)$	`\min(x,y), \max(x,y)`

如果需要使用特殊的函数符号，那么可以采用 \operatorname{} 命令进行自定义：