最大化TensorFlow*CPU性能

用户可以在v2.5之后的官方x86-64 TensorFlow 设置环境变量TF_ENABLE_ONEDNN_OPTS&＃61;1来启用这些CPU优化。

export TF_ENABLE_ONEDNN_OPTS&＃61;1


大多数建议都适用于官方x86-64 TensorFlow和英特尔®TensorFlow优化。OpenMP调优等一些建议只适用于TensorFlow的英特尔®优化。

TensorFlow图形选项改进性能

LPOT

提供了一个统一的低精度推理接口, 为fp32预训练模型提供了比TensorFlow优化工具optimize_for_inference更多的优化(例如消除公共子表达式)。
用户有不同的选项来优化他们的预训练模型&＃xff0c;这些选项包括英特尔®低精度优化工具(英特尔®LPOT)&＃xff0c;以及TensorFlow github的工具。
建议使用LPOT在Intel架构上进行预训练的模型优化

Tools from TensorFlow github

First, use Freeze_graph
冻结图形可以提供额外的性能好处。freeze_graph工具&＃xff0c;由于所有权重都冻结在结果推理图中&＃xff0c;可以期望得到更好的推理时间.
Second, Use Optimize_for_inference
在图形被冻结后&＃xff0c;额外的转换可以帮助优化用于推理的图形。

TensorFlow运行时选项提高性能

intra_/inter_op_parallelism_threads

intra_op_parallelism &＃61; number of physical core per socket
#每个插槽的物理内核数


inter_op_parallelism &＃61; number of sockets


通过执行bash脚本文件, get the number of physical core per socket and number of sockets on your platform

#!/bin/bash
total_cpu_cores&＃61;$(nproc)
number_sockets&＃61;$(($(grep "^physical id" /proc/cpuinfo | awk &＃39;{print $4}&＃39; | sort -un | tail -1)&＃43;1))
number_cpu_cores&＃61;$(( (total_cpu_cores/2) / number_sockets))echo "number of CPU cores per socket: $number_cpu_cores";
echo "number of socket: $number_sockets";


intra_op_parallelelism_threads和inter_op_parallelelism_threads是TensorFlow中定义的运行时变量。

ConfigProto

ConfigProto用于创建会话时进行配置。这两个变量控制要使用的内核数:

intra_op_parallelism_threads
此运行时设置控制操作内部的并行性。例如&＃xff0c;如果打算在多个线程中执行矩阵乘法或简化&＃xff0c;则应该设置这个变量。 TensorFlow将在包含intra_op_parallelelism_threads线程的线程池中调度任务。建议将此环境变量设置为可用物理核的数量。

inter_op_parallelism_threads

NOTE: This setting is highly dependent on hardware and topologies, so it’s best to empirically confirm the best setting on your workload.

运行时设置控制独立操作之间的并行性。由于这些操作彼此不相关&＃xff0c;TensorFlow将尝试在包含inter_op_parallelelism_threads线程的线程池中并发运行它们。这个变量应该设置为您希望运行代码的并行路径的数量。对于TensorFlow的英特尔®优化&＃xff0c;我们建议从设置“2”开始&＃xff0c;并在实证测试后进行调整。

Data Layout

data_format &＃61; NHWC


数据布局&＃xff0c;即如何存储和访问数据
有效地使用缓存和内存可以显著提高整体性能。良好的内存访问模式可以最小化访问内存中的数据的额外成本&＃xff0c;并提高整体处理能力
Data Layout 描述了多维数组如何在内存地址空间中线性存储。
在大多数情况下&＃xff0c;数据布局用四个字母表示一个二维图像:

N&＃xff1a;Batch size&＃xff0c;批量大小&＃xff0c;表示每批图像的数量。
C&＃xff1a;Channel&＃xff0c;“通道”表示图像的通道数。
W&＃xff1a;Width&＃xff0c;宽度&＃xff0c;表示图像的水平像素数。
H&＃xff1a; Height&＃xff0c;高度&＃xff0c;表示图像的垂直像素数。

这四个字母的顺序表示像素数据在一维存储空间中的存储方式。
例如&＃xff0c;NCHW表示像素数据先存储为宽度&＃xff0c;然后存储为高度&＃xff0c;然后存储为通道&＃xff0c;最后存储为批处理(如图2所示)。然后使用通道优先索引从左到右访问数据。NCHW是使用oneDNN的推荐数据布局&＃xff0c;因为这种格式对于CPU来说是一种有效的数据布局。TensorFlow使用NHWC作为默认的数据布局&＃xff0c;但它也支持NCHW。

NOTE : Intel Optimized TensorFlow supports both plain data formats like NCHW/NHWC and also oneDNN blocked data format since version 2.4. Using blocked format might help on vectorization but might introduce some data reordering operations in TensorFlow.

用户可以通过TF_ENABLE_MKL_NATIVE_FORMAT环境变量在Tensorflow中启用/禁用oneDNN阻塞数据格式。
通过export TF_ENABLE_MKL_NATIVE_FORMAT&＃61;0, TensorFlow将使用oneDNN阻塞数据格式代替。
建议通过下面的命令启用NATIVE_FORMAT&＃xff0c;以获得良好的开箱即用性能。&＃xff08;to achieve good out-of-box performance.&＃xff09;

export TF_ENABLE_MKL_NATIVE_FORMAT&＃61;1 (or 0)


NUMA (Non-uniform memory access)控制影响性能

numactl --cpunodebind&＃61;0 --membind&＃61;0 python


NUMA&＃xff0c;或称非均匀内存访问&＃xff0c;是一种用于数据中心机器的内存布局设计&＃xff0c;旨在利用具有多个内存控制器和块的多插槽机器中的内存位置。
在支持numa的机器上运行会带来一些特殊的注意事项。
当将执行和内存使用限制在单个NUMA节点时&＃xff0c;TensorFlow的Intel®Optimization运行推理工作负载最佳。
在启用numa的系统上运行时&＃xff0c;建议将intra_op_parallelelism_threads设置为每个numa节点的本地内核数。

并行执行
可以通过将工作负载分解为多个数据分片&＃xff0c;然后在多个NUMA节点上并发运行它们来优化性能。在每个节点(N)上执行如下命令:

numactl --cpunodebind&＃61;N --membind&＃61;N python


可以使用" & "命令在多个NUMA节点上同时启动进程:

numactl --cpunodebind&＃61;0 --membind&＃61;0 python & numactl --cpunodebind&＃61;1 --membind&＃61;1 python


英特尔®TensorFlow优化的OpenMP技术性能

英特尔®TensorFlow优化利用OpenMP并行化CPU内核之间的深度学习模型执行。

针对其特定的神经网络模型和平台调整这些环境变量的值,来调优英特尔®优化的TensorFlow性能.

OMP_NUM_THREADS

export OMP_NUM_THREADS&＃61;num physical cores


如果应用程序中没有指定其他值&＃xff0c;则此环境变量设置OpenMP并行区域使用的最大线程数

启用超线程后&＃xff0c;一个物理CPU核心有多个硬件线程&＃xff0c;但建议仅为一个物理CPU核心使用一个硬件线程&＃xff0c;以避免缓存丢失问题。

用户可以将OpenMP线程绑定到物理处理单元。KMP_AFFINITY用于利用这个功能。它将某些线程的执行限制为多处理器计算机中物理处理单元的子集。

该值可以是一个整数&＃xff0c;在这种情况下&＃xff0c;它指定所有并行区域的线程数。该值也可以是一个逗号分隔的整数列表&＃xff0c;在这种情况下&＃xff0c;每个整数指定嵌套级别上并行区域的线程数。(列表中的第一个位置表示最外部的并行嵌套级别&＃xff0c;第二个位置表示下一个内部的并行嵌套级别&＃xff0c;以此类推。)

默认值是执行程序的操作系统可见的逻辑处理器的数量。建议与物理核数相同。

KMP_AFFINITY

export KMP_AFFINITY&＃61;granularity&＃61;fine,compact,1,0


用户可以将OpenMP线程绑定到物理处理单元。KMP_AFFINITY用于利用这个功能。它将某些线程的执行限制为多处理器计算机中物理处理单元的子集。

NOTE The recommendation changes if Hyperthreading is disabled on your machine. In that case, the recommendation is: KMP_AFFINITY&＃61;granularity&＃61;fine,verbose,compact if hyperthreading is disabled.

KMP_BLOCKTIME

export KMP_BLOCKTIME&＃61;0 (or 1)


这个环境变量设置线程在完成一个并行区域的执行后&＃xff0c;在进入睡眠之前应该等待的时间(以毫秒为单位)。缺省值是200ms。(The default value is 200ms.)
在完成一个并行区域的执行后&＃xff0c;线程会等待新的并行工作可用。经过一段时间后&＃xff0c;它们停止等待&＃xff0c;进入睡眠状态。在更多的并行工作可用之前&＃xff0c;休眠允许非openmp线程代码或其他应用程序使用线程&＃xff0c;这些代码可以在并行区域之间执行。
如果线程仅为OpenMP执行而保留&＃xff0c;但可能会惩罚其他并发运行的OpenMP或线程化应用程序&＃xff0c;那么更大的KMP_BLOCKTIME值可能更合适。对于基于卷积神经网络(CNN)的模型&＃xff0c;建议设置为0。

KMP_SETTINGS

export KMP_SETTINGS&＃61;TRUE


这个环境变量启用(TRUE)或禁用(FALSE)在程序执行期间打印OpenMP运行时库环境变量。