TensorFlowLite在移动设备上的部署实践与优化笔记

最近在研究怎么将服务器跑的模型移植到手机端&＃xff0c;需要一些问题记录下~

前提知识&＃xff1a;

1&＃xff09;熟悉 Graph、GraphDef和MetaGraphDef的含义和区别

2&＃xff09;熟悉tf lite官网上的文档&＃xff0c;包括python api和命令行CLI的使用方法&＃xff08;lite converter和lite interpreter&＃xff09;

3&＃xff09;熟悉quantization_aware traning的官网示例&＃xff08;区别于post quantization&＃xff09;

4&＃xff09;熟悉mobilenet_v1官方的train和eval示例

如果熟悉了上面的前提知识&＃xff0c;那么手机端lite移植也就不难了~

步骤&＃xff1a;

1&＃xff09;使用quantization_aware的方式训练模型&＃xff08;quant delay延迟加载&＃xff09;得到checkpoint文件。&＃xff08;包含模型变量的参数值&＃xff09;

2&＃xff09;将train graph转为eval graph。&＃xff08;模型图的前向传播图&＃xff0c;只包含结果&＃xff0c;不包含参数值&＃xff09;

3&＃xff09;基于eval graph&＃xff0c;得到frozen graph&＃xff08;freeze_graph命令行工具&＃xff09;&＃xff0c;将变量转为常量~。&＃xff08;将ckpt文件中变量值附加到前向传播图中&＃xff0c;作为参数常量存在&＃xff0c;也就是“frozen”的意思[将变量冻结为常量]~&＃xff09;

4&＃xff09;调用toco命令行工具&＃xff0c;将frozen graph转为lite graph&＃xff08;指定输入和输出的name、输入的大小、inference的输入和输出类型、GraphDef或其他包含GraphDef的格式文件等等&＃xff09;。

采坑&＃xff1a;

1&＃xff09;量化的graph目标不是train graph&＃xff0c;而是eval graph

2&＃xff09;python api方式转为lite一直报错&＃xff0c;转为freeze_graph&＃43;toco解决

3&＃xff09;freeze_graph和toco命令行的参数说明

4&＃xff09;input_shape要前后始终统一

5&＃xff09;要熟悉Graph、GraphDef、MetaGraphDef等区别

6&＃xff09;熟悉summary.save、savedModel、save_graph_def和export_meta_graph等api的区别

7&＃xff09;熟悉tf的整个流程&＃xff0c;深刻理解tensor和operation的作用和地位

8&＃xff09;post quantization和quantization-aware训练模型&＃xff0c;量化处理的方式不一样&＃xff08;详情见tf官方文档&＃xff09;

如何保证量化之后的精度&＃xff1a;

待定~

更多学习笔记可以关注我的微信公众号「kelly学挖掘」&＃xff0c;欢迎交流。

-- over --