引用 Andrej Karpathy

Posted on 2023-02-04

9599?v=4&s=200

到目前为止，对 nanoGPT 最显着的优化（~25% 加速）是简单地将词汇量从 50257 增加到 50304（最接近 64 的倍数）。这会计算增加的无用维度，但会沿着不同的内核路径走下去，占用率要高得多。小心你的 2 的幂。