202507501

LLM に使われているトークナイザが数字を中途半端に分割するという話はよくみる。数字をつねに分割する修正は簡単なわけで、あえてそのままにしている、つまり変な分割の方が性能が良いということだと思うのだが、なぜに。