202520801

nanochat/nanochat/gpt.py at master · karpathy/nanochat · GitHub

ReLU^2 なんて活性化関数を使うのか。というかこういう部分って、徹底的に試されまくった研究的焼野原ではないのか。