megatron中attention实现中tp与GQA参数的关系
最新文章
pytorch send and recv
阅读约
1 分钟
send recv
pytorch中send和recv实现
pytorch Shard
阅读约
1 分钟
shard
pytorch中Shard实现
pytorch中的stream和event
阅读约
1 分钟
stream
PyTorch 中的 Stream / Event 与跨流同步：原理、用法与可运行示例
pytorch中TCPStore Rendezvous机制
阅读约
1 分钟
tcpstore
pytorch中TCPStore Rendezvous实现机制记录
NVIDIA Resiliency Extension (NVRx) 简介
阅读约
1 分钟
NVRx
介绍NVRx的基础知识