DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库,它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,使分布式训练变得容易、高效和有效。 新特性 DeepSpeed:面向所有人的极限模型训练 通过 DeepSpeed 稀疏注意力提高 10 倍的序列长度和 6 倍的执行速度 使用管道并行性训练数万亿个参数... DeepSpeed v0.3.0 发布,微软开源的深度学习优化库下载地址