AI 新闻 · AWS 机器学习博客
检测 Amazon SageMaker HyperPod 上的静默数据损坏并从中恢复
发布于 · 本站收录 2026-11-12 08:28
无声数据损坏是一种 GPU 故障，它会返回错误但看似合理的数字，而且没有任何错误，从而悄悄地毒害分布式训练。本文向 PyTorch DDP 循环添加了三项检查来检测它，定位 Amazon SageMaker HyperPod 上的故障节点，并将该节点交给自动恢复以供代表
英文原文标题与摘要
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
Silent data corruption is a GPU fault that returns wrong but plausible numbers with no error, quietly poisoning distributed training. This post adds three checks to a PyTorch DDP loop to detect it, localize the faulty node on Amazon SageMaker HyperPod, and hand the node to automatic recovery for replacement.
本站程序每小时从公开 RSS / 官方博客自动收集，英文内容为机器翻译摘要，已自动过滤低俗、时政等敏感内容；细节以原文为准。