「線形変換と固定された 1 要素ごとの非線形変換」の積み重ねで構成されるニューラルネットが、演算の数に対して高い多変数関数近似能力を持つことは、ディープラーニング以前から数学的な証明があったらしい。この事実、部分的にはニューラルネットワークと関係なく、数式をあつかう人ならば誰もが暗黙に体感していることだったりする。
何らかの方程式が解析的に解けたり、関数が closed-form で書き表せるといったとき、その式はたいてい加減乗除と sin などいくつかの 1 変数関数の合成である1。乗除算は exp, log と加減算に分解できるので、この関数は一次変換と数種類の 1 変数関数の合成で書けていることになる。
というか、そういうものを「解析的に解ける」とか「closed-form で書ける」と呼んでいるのだから当たり前ではある。この言葉はわりと曖昧である。