论文MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices introductionMobileBERT被设计成和$BERT_{large}$一样深，而每一

论文Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 1 介绍2 相关工作模型压缩 一项突出的工作致力于压缩大型神经网络以加速推理.早期的开创性