背景
公司领导反馈&＃xff1a;无权限登录系统&＃xff0c;临近下班无奈只能吃过晚饭后回工位排查问题&＃xff0c;一直排查到20:30多无法查出问题根源。
需求
恢复正常访问
解决
1.查看日志报错
org.springframework.security.authentication.InsufficientAuthenticationException: Full authentication is required to access this resource
说是springsecurity登录验证失败
2.寻找前同事帮助
最后发现是时间不同步导致的。
date -s 强制同步时间问题解决。
date -s "20140225 20:16:00"
在Windwos中&＃xff0c;系统时间的设置很简单&＃xff0c;界面操作&＃xff0c;通俗易懂&＃xff0c;而且设置后&＃xff0c;重启&＃xff0c;关机都没关系。系统时间会自动保存在BIOS时钟里面&＃xff0c;启动计算机的时候&＃xff0c;系统会自动在BIOS里面取硬件时间&＃xff0c;以保证时间的不间断。但在Linux下&＃xff0c;默认情况下&＃xff0c;系统时间和硬件时间并不会自动同步。在Linux运行过程中&＃xff0c;系统时间和硬件时间以异步的方式运行&＃xff0c;互不干扰。硬件时间的运行&＃xff0c;是靠BIOS电池来维持&＃xff0c;而系统时间&＃xff0c;是用CPU Tick来维持的。在系统开机的时候&＃xff0c;会自动从BIOS中取得硬件时间&＃xff0c;设置为系统时间。
Linux系统时间同步方法
1. Linux系统时间的设置
在Linux中设置系统时间&＃xff0c;可以用date命令&＃xff1a;
//查看时间
[root&＃64;node1 ~]# date
Tue Feb 25 20:15:18 CST 2014
//修改时间
[root&＃64;node1 ~]# date -s "20140225 20:16:00" #yyyymmdd hh:mm:ss
Tue Feb 25 20:16:00 CST 2014
//date 有多种时间格式可接受&＃xff0c;查看date --help
1234567
2. Linux硬件时间的设置
硬件时间的设置&＃xff0c;可以用hwclock或者clock命令。两者基本相同&＃xff0c;只用一个就行&＃xff0c;只不过clock命令除了支持x86硬件体系外&＃xff0c;还支持Alpha硬件体系。
//查看硬件时间可以是用hwclock &＃xff0c;hwclock --show 或者 hwclock -r
[root&＃64;node1 ~]# hwclock --show
Tue 25 Feb 2014 08:21:14 PM CST -0.327068 seconds
//设置硬件时间
[root&＃64;node1 ~]# hwclock --set --date "20140225 20:23:00"
[root&＃64;node1 ~]# hwclock
Tue 25 Feb 2014 08:23:04 PM CST -0.750440 seconds
1234567
3. 系统时间和硬件时间的同步
同步系统时间和硬件时间&＃xff0c;可以使用hwclock命令。
//以系统时间为基准&＃xff0c;修改硬件时间
[root&＃64;node1 ~]# hwclock --systohc <&＃61;&＃61; sys&＃xff08;系统时间&＃xff09;to&＃xff08;写到&＃xff09;hc&＃xff08;Hard Clock&＃xff09;
//或者
[root&＃64;node1 ~]# hwclock -w
//以硬件时间为基准&＃xff0c;修改系统时间
[root&＃64;node1 ~]# hwclock --hctosys
//或者
[root&＃64;node1 ~]# hwclock -s
12345678
4. 不同机器之间的时间同步
为了避免主机时间因为长期运行下所导致的时间偏差&＃xff0c;进行时间同步&＃xff08;synchronize&＃xff09;的工作是非常必要的。Linux系统下&＃xff0c;一般使用ntp服务器来同步不同机器的时间。一台机器&＃xff0c;可以同时是ntp服务端和ntp客户端。在生产系统中&＃xff0c;推荐使用像DNS服务器一样分层的时间服务器来同步时间。
不同机器间同步时间&＃xff0c;可以使用ntpdate命令&＃xff0c;也可以使用ntpd服务。
4.1 ntpdate命令
使用ntpdate比较简单。格式如下&＃xff1a;
1 [root&＃64;node1 ~]# ntpdate [NTP IP/hostname]
2 [root&＃64;node1 ~]# ntpdate 192.168.0.1
3 [root&＃64;node1 ~]# ntpdate time.ntp.org
123
但这样的同步&＃xff0c;只是强制性的将系统时间设置为ntp服务器时间。如果CPU Tick有问题&＃xff0c;只是治标不治本。所以&＃xff0c;一般配合cron命令&＃xff0c;来进行定期同步设置。比如&＃xff0c;在crontab中添加&＃xff1a;
0 12 * * * /usr/sbin/ntpdate 192.168.0.1
1
这样&＃xff0c;会在每天的12点整&＃xff0c;同步一次时间。ntp服务器为192.168.0.1。
或者将下列脚本添加到/etc/cron.hourly/&＃xff0c;这样就每小时会执行一次同步&＃xff1a;
#!/bin/bash
#
# $Id: sync-clock,v 1.6 2009/12/23 15:41:29 jmates Exp $
#
# Use ntpdate to get rough clock sync with department of Genome Sciences
# time server.NTPDATE&＃61;/usr/sbin/ntpdate
SERVER&＃61;"192.168.0.1 "# if running from cron (no tty available), sleep a bit to space
# out update requests to avoid slamming a server at a particular time
if ! test -t 0; thenMYRAND&＃61;$RANDOMMYRAND&＃61;${MYRAND:&＃61;$$}if [ $MYRAND -gt 9 ]; thensleep &＃96;echo $MYRAND | sed &＃39;s/.*\(..\)$/\1/&＃39; | sed &＃39;s/^0//&＃39;&＃96;fi
fi$NTPDATE -su $SERVER
# update hardware clock on Linux (RedHat?) systems
if [ -f /sbin/hwclock ]; then/sbin/hwclock --systohc
fi
1234567891011121314151617181920212223242526
4.2 ntpd服务
使用ntpd服务&＃xff0c;要好于ntpdate加cron的组合。因为&＃xff0c;ntpdate同步时间会造成时间的突变和跳跃&＃xff0c;对一些依赖时间的程序和服务会造成影响。比如sleep&＃xff0c;timer等。而且ntpd服务可以在修正时间的同时&＃xff0c;修正CPU Tick。因此理想的做法为&＃xff0c;在开机的时候&＃xff0c;使用ntpdate强制同步时间&＃xff0c;在其他时候使用ntpd服务来同步时间。
要注意的是&＃xff0c;ntpd 有一个自我保护的机制&＃xff1a;如果本机与上源时间相差太大&＃xff0c;ntpd 不会运行时间同步操作&＃xff0c;所以新设置的时间服务器一定要先 ntpdate 从上源取得时间初值, 然后启动 ntpd服务。ntpd服务运行后&＃xff0c;先是每64秒与上源NTP服务器同步一次&＃xff0c;根据每次同步时测得的误差值经复杂计算逐步调整自己的时间&＃xff0c;随着误差减小&＃xff0c;逐步增加同步的间隔。每次跳动&＃xff0c;都会重复这个调整的过程。
4.3. ntpd服务的设置
ntpd服务的相关设置文件如下&＃xff1a;
&＃xff08;1&＃xff09;/etc/ntp.conf&＃xff1a;这个是NTP daemon的主要设文件&＃xff0c;也是 NTP 唯一的设定文件。
&＃xff08;2&＃xff09;/usr /share/zoneinfo/&＃xff1a;在这个目录下的文件其实是规定了各主要时区的时间设定文件&＃xff0c;例如北京地区的时区设定文件在 /usr/share/zoneinfo/Asia/Shanghai 就是了。这个目录里面的文件与底下要谈的两个文件(clock 与localtime)是有关系的。
&＃xff08;3&＃xff09;/etc/sysconfig/clock&＃xff1a;这个文件其实也不包含在NTP 的 daemon 当中&＃xff0c;因为这个是 Linux 的主要时区设定文件。每次开机后&＃xff0c;Linux 会自动的读取这个文件来设定自己系统所默认要显示的时间。
&＃xff08;4&＃xff09;/etc /localtime&＃xff1a;这个文件就是"本地端的时间配置文件"。刚刚那个clock 文件里面规定了使用的时间设置文件(ZONE) 为 /usr/share/zoneinfo/Asia/Shanghai &＃xff0c;所以说&＃xff0c;这就是本地端的时间了&＃xff0c;此时&＃xff0c; Linux系统就会将Shanghai那个文件另存为一份 /etc/localtime文件&＃xff0c;所以未来我们的时间显示就会以Beijing那个时间设定文件为准。
下面重点介绍 /etc/ntp.conf文件的设置。在 NTP Server 的设定上&＃xff0c;建议不要对Internet 无限制的开放&＃xff0c;尽量仅提供局域网内部的 Client 端联机进行网络校时。此外&＃xff0c;NTP Server 总也是需要网络上面较为准确的主机来自行更新自己的时间啊&＃xff0c;所以在我们的 NTP Server 上面也要找一部最靠近自己的 Time Server 来进行自我校正。事实上&＃xff0c; NTP 这个服务也是 Server/Client 的一种模式。
[root&＃64;linux ~]# vi /etc/ntp.conf
# 1. 关于权限设定部分
# 权限的设定主要以 restrict 这个参数来设定&＃xff0c;主要的语法为&＃xff1a;
# restrict IP mask netmask_IP parameter
# 其中 IP 可以是软件地址&＃xff0c;也可以是 default &＃xff0c;default 就类似 0.0.0.0
# 至于 paramter 则有&＃xff1a;
# ignore &＃xff1a;关闭所有的 NTP 联机服务
# nomodify&＃xff1a;表示 Client 端不能更改 Server 端的时间参数&＃xff0c;不过Client 端仍然可以透过 Server 端来进行网络校时。# notrust &＃xff1a;该 Client 除非通过认证&＃xff0c;否则该 Client 来源将被视为不信任网域
# noquery &＃xff1a;不提供 Client 端的时间查询# notrap &＃xff1a;不提供trap这个远程事件登入# 如果 paramter 完全没有设定&＃xff0c;那就表示该 IP (或网域)"没有任何限制"restrict default nomodify notrap noquery # 关闭所有的 NTP 要求封包restrict 127.0.0.1 #这是允许本机查询restrict 192.168.0.1 mask 255.255.255.0 nomodify#在192.168.0.1/24网段内的服务器就可以通过这台NTP Server进行时间同步了
# 2. 上层主机的设定
# 要设定上层主机主要以 server 这个参数来设定&＃xff0c;语法为&＃xff1a;
# server [IP|HOST Name] [prefer]
# Server 后面接的就是上层 Time Server&＃xff0c;而如果 Server 参数# 后面加上 perfer 的话&＃xff0c;那表示我们的 NTP 主机主要以该部主机来# 作为时间校正的对应。另外&＃xff0c;为了解决更新时间封包的传送延迟动作&＃xff0c;# 所以可以使用 driftfile 来规定我们的主机
# 在与 Time Server 沟通时所花费的时间&＃xff0c;可以记录在 driftfile
# 后面接的文件内&＃xff0c;例如下面的范例中&＃xff0c;我们的 NTP server 与
# cn.pool.ntp.org联机时所花费的时间会记录在 /etc/ntp/drift文件内
server 0.pool.ntp.orgserver 1.pool.ntp.orgserver 2.pool.ntp.orgserver cn.pool.ntp.org prefer#其他设置值&＃xff0c;以系统默认值即可server 127.127.1.0 # local clockfudge 127.127.1.0 stratum 10driftfile /var/lib/ntp/drift
broadcastdelay 0.008keys /etc/ntp/keys
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354
总结一下&＃xff0c;restrict用来设置访问权限&＃xff0c;server用来设置上层时间服务器&＃xff0c;driftfile用来设置保存漂移时间的文件。
4.4 ntpd服务的启动与查询
在启动NTP服务前&＃xff0c;先对提供服务的这台主机手动的校正一次时间&＃xff08;因为启动服务器&＃xff0c;端口会被服务端占用&＃xff0c;就不能手动同步时间了&＃xff09;。
[root&＃64;node1 ~]# ntpdate cn.pool.ntp.org
25 Feb 21:10:52 ntpdate[9549]: adjust time server 202.112.31.197 offset 0.000101 sec
12
然后&＃xff0c;启动ntpd服务&＃xff1a;
[root&＃64;node1 ~]# /etc/init.d/ntpd start
Starting ntpd: [ OK ]
[root&＃64;node1 ~]# date
Tue Feb 25 21:11:07 CST 2014
1234
查看端口&＃xff08;ntpd服务使用UDP的123端口&＃xff09;&＃xff1a;
[root&＃64;node1 ~]# netstat -ln |grep :123
udp 0 0 12.12.12.100:123 0.0.0.0:*
udp 0 0 192.168.0.100:123 0.0.0.0:*
udp 0 0 172.18.226.174:123 0.0.0.0:*
udp 0 0 10.10.10.100:123 0.0.0.0:*
udp 0 0 127.0.0.1:123 0.0.0.0:*
udp 0 0 0.0.0.0:123 0.0.0.0:*
udp 0 0 fe80::225:90ff:fe98:61ff:123 :::*
udp 0 0 fe80::225:90ff:fe98:61fe:123 :::*
udp 0 0 fe80::202:c903:1b:afa1:123 :::*
udp 0 0 ::1:123 :::*
udp 0 0 :::123 :::*
123456789101112
如何确认我们的NTP服务器已经更新了自己的时间呢&＃xff1f;
[root&＃64;node1 ~]# ntpstat
synchronised to NTP server (202.120.2.101) at stratum 4
time correct to within 557 ms
polling server every 64 s
# 该指令可列出NTP服务器是否与上层联机。由上述输出结果可知&＃xff0c;时间校正约
# 为557*10(-6)秒&＃xff0c;且每隔64秒会主动更新时间。
123456
常见的错误&＃xff1a;
unsynchronized time server re-starting polling server every 64 s
// 或者
25 Apr 15:30:17 ntpdate[11520]: no server suitable for synchronization found
123
其实&＃xff0c;这不是一个错误。而是由于每次重启NTP服务器之后大约要3&＃xff0d;5分钟客户端才能与server建立正常的通讯连接。当此时用客户端连接服务端就会报这样的信息。一般等待几分钟就可以了。
[root&＃64;node1 ~] # ntptrace –n
127.0.0.1:stratum 11, offset 0.000000&＃xff0c;synch distance 0.950951
222.73.214.125&＃xff1a;stratum 2&＃xff0c;offset –0.000787&＃xff0c;synch distance 0.108575
209.81.9.7:stratum 1&＃xff0c;offset 0.000028&＃xff0c;synch distance 0.00436&＃xff0c;refid &＃39;GPS&＃39;
# 这个指令可以列出目前NTP服务器&＃xff08;第一层&＃xff09;与上层NTP服务器&＃xff08;第二层&＃xff09;
# 彼此之间的关系&＃xff0c;注意&＃xff1a;该命令需要安装ntp-perl包
123456
ntpq命令&＃xff1a;
[root&＃64;node1 ~]# ntpq -p
1
指令"ntpq -p"可以列出目前我们的NTP与相关的上层NTP的状态&＃xff0c;以上的几个字段的意义如下&＃xff1a;
remote&＃xff1a;即NTP主机的IP或主机名称。注意最左边的符号&＃xff0c;如果由"&＃43;“则代表目前正在作用钟的上层NTP&＃xff0c;如果是”*"则表示也有连上线&＃xff0c;不过是作为次要联机的NTP主机。
refid&＃xff1a;参考的上一层NTP主机的地址
st&＃xff1a;即stratum阶层
when&＃xff1a;几秒前曾做过时间同步更新的操作
poll&＃xff1a;下次更新在几秒之后
reach&＃xff1a;已经向上层NTP服务器要求更新的次数
delay&＃xff1a;网络传输过程钟延迟的时间
offset&＃xff1a;时间补偿的结果
jitter&＃xff1a;Linux系统时间与BIOS硬件时间的差异时间
最后提及一点&＃xff0c;ntp服务默认只会同步系统时间。如果想要让ntp同时同步硬件时间&＃xff0c;可以设置/etc/sysconfig/ntpd 文件。
在/etc/sysconfig/ntpd文件中&＃xff0c;添加 SYNC_HWCLOCK&＃61;yes 这样&＃xff0c;就可以让硬件时间与系统时间一起同步。
5. HPC集群中时间同步示例
5.1 集群环境简介
管理节点&＃xff1a;192.168.0.100&＃xff0c;192.168.0.101
计算节点&＃xff1a;192.168.0.1~192.168.0.50
I/O节点&＃xff1a;192.168.0.51~192.168.0.54
Internet NTP服务器&＃xff1a;cn.pool.ntp.org
5.2 时间同步方案设计
方案详细解释&＃xff1a;
&＃xff08;1&＃xff09;管理节点1作为主NTP服务器&＃xff0c;跟互联网NTP服务器进行时间同步&＃xff1b;管理节点2作为备用NTP服务器&＃xff0c;也跟互联网NTP服务器进行时间同步。两个管理节点做Heartbeat&＃xff0c;设置一个漂移IP地址192.168.0.103&＃xff0c;并对ntpd服务进行双机高可用&＃xff1b;
&＃xff08;2&＃xff09;集群计算节点和IO节点&＃xff0c;跟管理节点的虚拟IP地址192.168.0.103通过ntpd服务做时间同步&＃xff1b;
&＃xff08;3&＃xff09;所有节点&＃xff0c;在ntp时间同步的同时&＃xff0c;设置硬件时间跟系统时间一致&＃xff1b;
&＃xff08;4&＃xff09;所有计算节点和IO节点开机时&＃xff0c;通过ntpdate跟192.168.0.103进行时间同步&＃xff0c;然后再开启ntpd服务。
京公网安备 11010802041100号