我看到很多人都在吐槽英伟达DGX的273GB/s的带宽小，所以认为解码速度就慢

因为很多人是按照显存带宽的极限来算吞吐的

但是很多人忽略今年非常流行的投机解码速度，包括MTP、DFlash2 甚至是 TensorFold

投机解码的原理就是利用英伟达强大的冗余算力，除了解码模型，并行跑一个草稿模型，一旦草稿模型的提前计算倍押中以后，273GB/s的机器，解码速度可以提升2~3倍

这种技术就跟CPU的随机流水线一样， 利用算力优势，做几个不同的预测分支，一旦押中，就可以快速提升解码速度