“AMD ROCm代码建议在未来的GPU中支持BFloat16”
发布时间：2021-06-01 07:24:01
阅读次数：
根据github最近对amd开源rocm软件的更新，继谷歌、intel、arm的步伐之后，未来的amd gpu将支持日益流行的bfloat16数字风格进行深度培训
在github上的更新是提交到rocm软件平台存储库，而rocm软件平台存储库是amd用于gpu计算的开源hpc平台，bf16 tn大小不断增加 对bf16的引用( bfloat16或bfloat16的缩写)表明amd可以在下一版本中实现未来gpu架构的硬件。
bfloat16是谷歌最近开发的数字数据样式，用于深度学习培训，并在其tpu上实现。 将标准fp32浮点数的尾数截断为16位，将其精度降低多个小数点数。 使用16位样式需要更少的硅面积和带宽。 谷歌还声称，与目前标准化的fp16样式相比，它在硬件上的实施效率更高。
硬件现在支持bf16风格。 英特尔宣布将广泛使用这种样式，并将在今后上市的cooper lake-spxeon、agilex fpga和nervana nnp-t上提供支持。 最近，arm宣布支持armv8的bf16。 随着amd目前有可能加入该党，nvidia将成为唯一主要的ai硬件供应商，并没有承诺普遍支持这种风格。
免责声明：雪球目录网免费收录各个行业的优秀中文网站，提供网站分类目录检索与关键字搜索等服务，本篇文章是在网络上转载的，本站不为其真实性负责，只为传播网络信息为目的，非商业用途，如有异议请及时联系btr2031@163.com，本站的工作人员将予以删除。