202425401

BF16, TF32 といった Deep Learning 向けに作られた浮動小数点数フォーマットは、指数部が大きくて仮数部が小さい。たとえば線形変換と ReLU を重ねた素朴な NN なら、入出力値や各レイヤーのウェイトを正規化しておいてもいい。指数部の大きさはそれほど必要ない気がするのだが。ウェイトと積は BF16 でアキュムレータは FP32 みたいな使い方なのかな。