202508700

Transformer は

• N 桁の訓練データがあれば N 桁の加算は問題なく学習できるっぽい。
• 任意桁の加算を学習するだけの汎化能力はないらしい。
• 乗算の学習は桁数の増加とともに指数的 (指数以上?) に難しくなっていく。

固定桁であろうと学習できることは十分に驚くべき結果だが、 Transformer に夢を持ちすぎるのも違う気がする。ただしこれは「例から一般化できない」ということであって、おそらくは大半のヒトができないことでもある。