VMwareNSX环境EAM故障指导手册

一、概要

  EAM&＃xff08;ESX Agent Manager&＃xff09;&＃xff1a;vsphere esxi主机agent管理服务&＃xff0c;连接 NSX 和 vCenter&＃xff0c;主要负责完成自动部署和管理 NSX 网络和安全服务的过程&＃xff0c;同时扩展 ESXi 主机功能以提供 vSphere 解决方案所需的额外服务。NSX Manager 借用在群集整个范围创建代理来请求 EAM 准备将原集群部署为一个特定的 NSX 群集&＃xff0c;用于NSX 网络准备。而EAM 会自动完成部署和管理 vSphere ESX 代理的整个过程。

  NSX环境中&＃xff1a;主机准备阶段&＃xff0c;EAM将负责完成整个自动化过程。如下图所示&＃xff1a;

  另外&＃xff0c;想了解EAM状态&＃xff0c;即监控 ESX Agent Manager&＃xff0c;可登录web client&＃xff0c;单击管理 > vCenter Server 扩展 (Administration > vCenter Server Extensions)–>单击 vSphere ESX Agent Manager—>

监控 (Monitor) > 事件 (Events):

ESX Agent Manager 提供的服务包括将代理与 DRS、AddHost、High Availability、DRM 和维护模式等 vSphere 功能即刻集成起来&＃xff1b;注意&＃xff0c;每个代理机构由多个代理组成&＃xff0c;集群中每个 ESXi 主机上一个代理。

二、常见错误

1&＃xff09;使用 VMware ESX Agent Manager (EAM) 部署 vSphere 安装包 (VIB) 失败。
2&＃xff09;EAM 无法从 NSX Manager 访问 VIB。
3&＃xff09;EAM 显示错误“主机上没有为代理安装 VIB 模块 (VIB module for agent is not installed on host)”。
4&＃xff09;EAM 显示状态 Alert。
5&＃xff09;在 Networking & Security下&＃xff0c;安装状态在群集和主机上显示为 Not Ready&＃xff08;未就绪&＃xff09;&＃xff0c;单击 Resolve&＃xff08;解决&＃xff09;无法修复该问题。
6&＃xff09;ESXi 主机 VXLAN VIB 安装失败。
7&＃xff09;ESXi 主机无法从 vCenter Server 访问 VIB。在 VC 系统事件表中&＃xff0c;会看到&＃xff1a;模块Security Fabric报错
“Security Fabric”(Event Message:‘Installation of deployment unit failed, please check if ovf/vib urls are accessible, in correct format and all the properties in ovf environment have been configured in service attributes. Please check logs for details.’, Module:‘Security Fabric’)
8&＃xff09;在TMP目录下的EAM 文件被删除且NSX manager 无法完成主机准备中的VXLAN部署&＃xff1b;
9&＃xff09;在 NSX UI 的“安装”部分的“主机准备”选项卡中&＃xff0c;重新启动 NSX Manager 或 EAM 服务后&＃xff0c;群集的安装状态会显示为 Not Ready&＃xff08;未就绪&＃xff09;
10&＃xff09;NSX 主机准备部署进度一直旋转&＃xff0c;数小时或数天的时间内状态不翻转&＃xff0c;安装过程一直处于未完成&＃xff1b;

【相关日志文件】&＃xff1a;

1&＃xff09;ESX Agent Manager 日志包含在 vCenter Server 日志包中&＃xff1a;

Windows vc虚拟机&＃xff1a;C:\ProgramData\VMware\vCenterServer\logs\eam\eam.log
VCSA虚拟机&＃xff1a; /var/log/vmware/vpx/eam.log
ESXi主机&＃xff1a;/var/log/esxupdate.log

2&＃xff09;esxi主机相关日志&＃xff1a;
/var/log/netcpa.log //日志会报错类似如下&＃xff1a;
Netcpa 错误: 错误 netcpa[FFCFFB70]: (Netcpa error: error netcpa[FFCFFB70]:)[FFCFFB70] [Originator&＃64;6876 sub&＃61;Default] Failed to get host id, returned , len 0

/var/log/vmkernel.log //eam运行异常时&＃xff0c;日志上会看到如下类似报错&＃xff1a;
An esxupdate error exception was caught: esxupdate: ERROR: MetadataDownloadError

/var/log/esxupdate.log

3&＃xff09;VIB 模块安装失败时应查看vc上的 EAM 日志&＃xff1a;

/storage/log/vmware/vpx/eam.log &＃xff08;在 Linux vCenter 上&＃xff09;
ProgramData/VMware/VMware VirtualCenter/Logs/&＃xff08;在 Windows vCenter 上&＃xff09;

三、工作原理

  NSX Manager 负责 ESXi 主机准备&＃xff0c;它在 ESXi 虚拟化管理程序&＃xff08;Hypervisor&＃xff09;上安装各种 vSphere 安装包 (VIB&＃xff0c;它 是由数个文件组成的软件包&＃xff0c;安装在 ESXi Hypervisor的内核空间中。)&＃xff0c;以便启用 VXLAN、分布式路由&＃xff08;DLR&＃xff09;、Distributed Firewall (DFW) 以及一个用于在控制层面级别通信的用户环境代理 (UWA)。

1、从 ESXi Hypervisor到 NSX Manager 和Controllers群集节点的控制层面通信的软件组件包括&＃xff1a;

1&＃xff09;RabbitMQ Message Bus &＃xff1a;提供 RMQ 客户端&＃xff08;ESXi Hypervisor上的 vsfwd 进程&＃xff09;和 NSX Manager 托管的 RMQ Server 进程之间的通信。
2&＃xff09;用户环境代理 (UWA) 进程&＃xff1a;&＃xff08;ESXi 虚拟机管理程序上的 netcpa&＃xff09;建立到控制器群集节点的基于 SSL 的 TCP 通信通道。控制器使用此通道填充本地 MAC、ARP 和 VTEP 表&＃xff0c;以确定在部署的逻辑网络中工作负载连接到何处。

2、主机准备工作流&＃xff1a;

1&＃xff09;将 NSX Manager 连接到 vCenter Sever/VCVA。
2&＃xff09;部署 NSX Controller&＃xff08;使用单播模式、混合模式或 LDR&＃xff09;。主机准备。
3&＃xff09;NSX Manager > EAM > vCenter Server > ESXi 主机&＃xff0c;会创建代理机构&＃xff0c;EAM 会调用 vCenter Server 以安装 VIB
4&＃xff09;EAM 会在每次创建/更新/删除代理机构&＃xff08;agencies&＃xff09;以及重新启动 ESXi 主机时启动 VIB 扫描。实际扫描由 vSphere Update Manager 完成。EAM 调用 VUM 提供 NSX VIB &＃xff0c;VUM 确定所提供的 VIB 元数据与 ESXi 主机上安装的实际 VIB 之间的增量&＃xff0c;EAM 使用该结果从 VUM 请求 VIB 安装。其中&＃xff0c;代理机构&＃xff08;agencies&＃xff09;是 ESX 代理的容器。ESX 机构汇总了所管理的代理以及与这些 ESX 代理相关的所有问题的信息。
5&＃xff09;将通过以下 URL 从 NSX Manager 访问 VIB&＃xff1a;https:///bin/vdn/vibs/5.5/vxlan.zip。
6&＃xff09;成功部署代理和代理机构后&＃xff0c;EAM 会报告“绿色”运行状况。

7)为 VMware NSX for vSphere 准备 ESXi 主机时&＃xff0c;NSX Manager 会通过 VMware vSphere ESX Agency Manager (EAM) 自动推送 vSphere Installation Bundle (VIB)。 ESXi 主机上会安装以下3个 VIB&＃xff0c;其中&＃xff0c;esx-dvfilter-switch-security VIB从 VMware NSX for vSphere 6.2.0 开始包含到esx-vxlan VIB 中&＃xff1a;

esx-dvfilter-switch-security
esx-vsip
esx-vxlan

【ESX Agent Manager 运行状况】&＃xff1a;

在选定的集群的三单引号单击解决所有问题。将解决与所选机构相关的所有问题。

3、EAM相关程序位置

VMware vSphere 6.x对应的rpm包为&＃xff1a; vmware-eam

Windows中&＃xff1a;C:\Program Files\VMware\CIS\eam
VCVA&＃xff08;vCenter Server Virtual Appliance &＃xff09;&＃xff1a;/usr/lib/vmware-eam

停止tomcat/tcserver 服务&＃xff1a;

Windows&＃xff1a;
将 EAM Web 应用程序从 \webapps 移动至 \webapps 以外目录下的
停止 tcserver 实例&＃xff1a; \bin\tcruntime-ctl.bat stop tomcat
启动 tcserver 实例&＃xff1a; \bin\tcruntime-ctl.bat start tomcat

VCVA&＃xff1a;
将 EAM Web 应用程序从 \webapps 移动至 \webapps 以外目录下的
停止 tcserver 实例&＃xff1a; /bin/tcruntime-ctl.sh stop tomcat
启动 tcserver 实例&＃xff1a; \bin\tcruntime-ctl.bat start tomcat

注意&＃xff1a; 我们首先移动 EAM Web 应用程序文件夹&＃xff0c;因为出于某些原因&＃xff0c;在停止 tcserver 实例后&＃xff0c;它会自动重新启动。

四、排故思路

1&＃xff09;检查 NSX for vSphere 当前版本的发行说明&＃xff0c;了解问题是否已在错误修复中得到解决。在“安装和升级问题”下查看。
https://www.vmware.com/support/pubs/nsx_pubs.html进入查看对应NSX版本的文档&＃xff0c;注&＃xff1a;NSX for vSphere 现名为 NSX Data Center for vSphere&＃xff1b;


查找Known Issues&＃xff0c;确认遇到的问题是否在新版本中解决&＃xff0c;且新版本是否与当前实际环境匹配&＃xff0c;可使用升级方案解决&＃xff1b;

2&＃xff09;确保在 ESXi 主机和vsphere环境中正确配置了 DNS。NSX for vSphere 6.x 中的主机准备期间&＃xff0c;在 vSphere 主机上安装网络虚拟化组件时&＃xff0c;VMware ESX Agent Manager (EAM) 可能会无法部署所有必需的 VIB。

1> vCenter Server, the ESXi hosts and NSX Manager需要正确配置DNS&＃xff0c;确保vCenter Server, ESXi hosts, NSX Manager and Update Manager 这些组件虚拟机中的DNS正反向解析正常。
2>检查vsphere环境NTP服务配置是否正确&＃xff0c;vspher环境的NTP时间一致性对环境的整体通信非常重要。
3>检查r NSX for vSphere 6.x 的相关端口是否通信正常&＃xff0c;参照下表&＃xff1a;

注&＃xff1a;如vcsa部署过程中&＃xff0c;自定义了端口&＃xff0c;请确保该端口在和esxi间的防火墙上允许开放。

4>验证是否正确配置了vCenter Server的IP地址&＃xff1b;
5>确认VUM&＃xff08;VMware Update Manager&＃xff09;服务是否允许正常&＃xff1b;当使用VUM安装EAM / VXLAN代理时&＃xff0c;EAM需要依赖vUM来安装和卸载 VIB到集群的ESXi主机&＃xff0c;如vum允许异常&＃xff0c;则会报错Agent VIB module not installed&＃xff1b;这是 NSX for vSphere 6.x的已知问题&＃xff0c;在vSphere 6.0 Update 3版本中被解决&＃xff1b;或者手动直接在ESXi主机上安装 VXLAN 模块组件&＃xff1a;

《1》首先需要将 bypassVumEnabled配置为true&＃xff0c;以允许即使VUM已安装或VUM不可用&＃xff0c;也可通过EAM直接将vib安装到ESXi主机上。打开https://vCenter_Server_IP/eam/mob/&＃xff0c;用Administrator访问到MOB页&＃xff1a;

从agency列表里选一个agency&＃xff0c;VMware vCenter Server 6.0后&＃xff0c;agency显示为GUID&＃xff0c;如下&＃xff1a;

上图中的4组valve对应下图中的4个集群&＃xff0c;单击任一组可以进去&＃xff1a;


单击config后&＃xff0c;url变为&＃xff1a;https://vCenter_Server_IP/eam/mob/?moid&＃61;agency-GUID&doPath&＃61;config

验证bypassVumEnabled是否值为true&＃xff0c;由上图可见&＃xff0c;正常部署完成情况下&＃xff0c;bypassVumEnabled值为boolean&＃xff1b;

如果先高配置为true&＃xff0c;修改https://vCenter_Server_IP/eam/mob/?moid&＃61;agency-GUID&doPath&＃61;config为&＃xff1a;https://vCenter_Server_IP/eam/mob/?moid&＃61;agency-GUID&method&＃61;Update&＃xff0c;打开&＃xff1a;

完成后&＃xff0c;单击【Invoke Method】生效。安装完成如 NSX Manager界面主机准备处显示agency为红色&＃xff0c;可单击对应主机的Resolve 。处理后再将bypassVumEnabled值修改回默认。

注&＃xff1a;如果vcenter是新安装的&＃xff0c;可通过 https://vCenter_Server_IP/eam页面采用你浏览器方式部署EAM&＃xff0c;部署完成后&＃xff0c;会显示&＃xff1a;

6>确认vcenter进程vpxd运行正常&＃xff0c;正常监听TCP端口8089&＃xff1b;NSX Manager仅支持默认端口8089。vcenter部署过程中&＃xff0c; vpxd会为ESX Agent Manager选择一个TCP端口&＃xff08;默认为8089&＃xff09;&＃xff0c;如果8089端口已被使用&＃xff0c;将会自动自增&＃xff0c;选8090及其后的端口。

7、PhotonOS已经引入了自动清理策略&＃xff0c;定期清理/tmp文件夹。上述关于failed VIB payload publish问题&＃xff0c;是因为ESX代理管理器&＃xff08;ESX Agent Manager &＃xff09;使用/tmp文件夹来存储发布的VIB有效负载。如果定期清理恰好将EAM用于存储已发布负载的文件夹结构删除&＃xff0c;则会导致EAM操作失败&＃xff0c;报&＃xff1a;EAM fails to complete VIB operation due to failed VIB payload publish&＃xff1b;这是vsphere 6.5的已知问题&＃xff0c;vSphere 6.5 U1中该问题已得到解决&＃xff0c;可升级到该版本&＃xff1b;或可临时重启EAM 服务来尝试处理&＃xff0c;执行&＃xff1a;
service-control --stop eam
service-control --start eam

五、附录&＃xff1a;NSX-V 6 通信流程

客户端PC> NSX Manager 443 / TCP&＃xff08;NSX Manager管理界面&＃xff09;
客户端PC> NSX Manager 80 / TCP&＃xff08;NSX Manager VIB访问&＃xff09;
ESXi主机> ESXi主机6999 / UDP&＃xff08;VLAN LIF上的ARP&＃xff09;
ESXi主机> NSX Controller 1234 / TCP&＃xff08;用户全球代理连接&＃xff09;
ESXi主机> NSX Manager 5671 / TCP&＃xff08;AMQP&＃xff09;
ESXi主机> NSX Manager 8301,8302 / UDP&＃xff08;DVS同步&＃xff09;
ESXi主机> vCenter Server 80 / TCP&＃xff08;ESXi主机准备&＃xff09;
NSX控制器> NSX控制器2878 &＃xff0c;2888,3888 / TCP&＃xff08;控制器群集 - 状态同步&＃xff09;
NSX控制器> NSX控制器30865 / TCP&＃xff08;控制器群集 - 状态同步&＃xff09;
NSX控制器> NSX控制器7777 / TCP&＃xff08;控制器间RPC端口&＃xff09;
NSX控制器> NTP时间服务器123 / TCP&＃xff08;NTP客户端连接&＃xff09;
NSX控制器> NTP时间服务器123 / UDP&＃xff08;NTP客户端连接&＃xff09;
NSX Manager> DNS服务器53 / TCP&＃xff08;DNS客户端连接&＃xff09;
NSX Manager> DNS服务器53 / UDP&＃xff08;DNS客户端连接&＃xff09;
NSX Manager> ESXi主机443 / TCP&＃xff08;管理和配置连接&＃xff09;
NSX Manager> ESXi主机8301,8302 / UDP&＃xff08;DVS同步&＃xff09;
NSX Manager> ESXi主机902 / TCP&＃xff08;管理和配置连接&＃xff09;
NSX Manager> NSX Controller 443 / TCP&＃xff08;控制器到管理器通信&＃xff09;
NSX Manager> NTP时间服务器123 / TCP&＃xff08;NTP客户端连接&＃xff09;
NSX Manager> NTP时间服务器123 / UDP&＃xff08;NTP客户端连接&＃xff09;
NSX Manager > Syslog服务器514 / TCP&＃xff08;Syslog连接&＃xff09;
NSX Manager> Syslog服务器514 / UDP&＃xff08;Syslog连接&＃xff09;
NSX Manager> vCenter Server 443 / TCP&＃xff08;vSphere Web Access&＃xff09;
NSX Manager> vCenter Server 902 / TCP&＃xff08;vSphere Web Access&＃xff09;
REST客户端> NSX Manager 443 / TCP&＃xff08;NSX Manager REST API&＃xff09;
vCenter Server> ESXi主机80 / TCP&＃xff08;ESXi主机准备&＃xff09;
vCenter Server> NSX Manager 80 / TCP&＃xff08;主机准备&＃xff09;
VTEP> VTEP 4789 / UDP&＃xff08;VTEP 之间的传输网络封装