2018/05/16 16:49 TechWeb
5月16日消息,随着深度学习技术的爆炸性发展,很多企业、开发者都发表了自己的研究论文,展示最新取得的不俗成绩。但是在实际使用时,很可能遇到模型大小方面的问题。Google近日公开了自家全新ML模型压缩技术Learn2Compress。
该技术能为开发的深度学习模型变得更为轻量化,并在移动设备上去执行。Learn2Compress将NN模型压缩为输入一个大型的TF模型,自动生成随时可用的设备模型。
对于Learn2Compress技术的本质,谷歌提了如下三点:
·通过除无意义的权重和激活来减少模型的大小;
·通过减少模型中使用的位数来提高推理速度;
·联合训练和精馏方法策略,老师网络是一个给定的模型,学生网络是被压缩的,这些模型很窄,有助于我们显著减轻计算负担,此外还能够同时训练不同规模的学生网络。
结果就是Learn2Compress效果非常好,可以更快更小地生成模型,有时甚至超过了给定的模型。
榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。