202305501

かんたん！階層別モデルマージ入門編！｜やもぺろ｜pixivFANBOX

• 二つの学習済みモデルのウェイトを単純に平均したら、中間のモデルとして機能するのか。
• 画像生成モデルで実写とイラストは連続に繋がっているのか。

という疑問を持っていた。どちらも yes っぽい。驚き。「DNN はたくさんの局所解を持つが、どれも十分に良い解であるためうまく最適化できる」という話が事実なら、ウェイトを平均したものが良い解である可能性は低いように思える。実際にネットワークの構造は対称性を持っているわけだし。単純平均ではないのかもしれないが。