审稿人：“虽然你的效果好，但是在你的 base size 下，即便层数，维度，参数量，激活参数量都一样，你的计算量高了 baseline 20% ，所以你的方法看起来实际上要比所有的 baseline 都糟糕！”“虽然实验设置好，但是结果的展示是欺骗性的，所以我推荐拒稿，1分。
” 答： 泻药，增加了 baseline 激活的专家数量，重新训练。
现在即便 baseline 计算量更高，我们方法优势还是明显。
此外，如论文所示，在参数 scale 到 1B 以上时，我…。
微信 分享
关注微信
