计算精度问题

登录立即注册

帮助文档

: 最佳实践典型场景实践计算

: 新手入门简单步骤与快速入门

: 计费方式灵活弹性的计费模式

: 发票开具发票教程服务

: 关于我们闪电超算平台

计算精度问题

如果计算精度误差比较大，那么可能为安培架构的GPU引入的TF32数值类型以及Torch等框架会自动启用TF32计算造成的。TF32可简单理解为FP16的精度，FP32的表示范围，带来了更强的性能但是可能更差的精度。

该问题可参考Torch官方文档：文档

一般来说TF32够用，但是如果权重值有比较大的异常数值（一般没有）时会出现较大误差。

import torch A = torch.tensor([[113.2017, 7.4502, 39.3118], [-99.4285, 13.2169, 85.9321], [194.0693, -4282.2979, 58.0138]]).float().cuda() B = torch.tensor([[0.8673, -0.4966, 0.0337], [0.0377, -0.0019, -0.9993], [0.4963, 0.8680, 0.0171]]).float().cuda() gpu = A @ B cpu = A.cpu() @ B.cpu() print('gpu:\n', gpu) print('cpu:\n', cpu) print('gpu-cpu:\n', gpu.cpu() - cpu)