前にも書いた気がするが、 deep learning (ここでは deep NN + SGD の意) で学習がうまくいかない人工的なキラーサンプルって知られていないのかな。
[2009.01398] It's Hard for Neural Networks To Learn the Game of Life
こんなのを見つけたが、 deep learning に特有の弱点を突くサンプルという感じではないか。シンプルなルールながら複数ステップ後の状態が非自明なのが Game of Life の特徴である。たんに結果から学習するのが難しい問題。
あと lottery ticket hypothesis の存在を知った。