每天10点为你分享不一样的干货
读者福利&＃xff01;多达 2048G 各种资源免费赠送
来自&＃xff1a;中国光大银行信息科技部系统运维中心
无论是系统运维&＃xff0c;还是应用运维&＃xff0c;均可分为“纯手工”——> “脚本化”——> “自动化”——>“智能化”几个阶段&＃xff0c;其中自动化阶段&＃xff0c;主要是将一些重复性人工操作和运维经验封装为程序或脚本&＃xff0c;一方面避免重复性操作及风险&＃xff0c;另一方面提高执行效率。在自动化运维的转变过程中&＃xff0c;经常使用的可能就是shell脚本了&＃xff0c;今天主要分享下shell脚本开发在运维工作中的一些经验总结。小脚本有大智慧&＃xff0c;别小看几十行代码&＃xff0c;夹杂着系统设计、代码规范和操作经验等等细节&＃xff0c;在建设自动化运维的工作中&＃xff0c;还是很值得我们研究学习的&＃xff0c;下面总结这些也都是源于各位脚本达人和我们在自身工作中“遇到的坑”、“摔过的跟头”和“排过的雷”&＃xff0c;与大家共享。这里主要介绍并参考我行已经形成的一些shell编写规范&＃xff0c;编写时严格遵守这些规范&＃xff0c;不仅使编写人受益&＃xff0c;同时也能提高使用者的执行效率。1&＃xff09;脚本开头部分应有脚本功能说明、参数使用说明、作者姓名、创建/修改日期、版本信息&＃xff0c;格式为:2&＃xff09;脚本编写时&＃xff0c;注意格式对齐&＃xff0c;如所有的循环或者判断语句前后的语句进行对齐&＃xff0c;以及case的选取完全&＃xff0c;如&＃xff1a;3&＃xff09;脚本开头执行时&＃xff0c;执行如下命令&＃xff0c;在执行过程中若遇到使用了未定义的变量或命令返回值为非零&＃xff0c;将直接报错退出&＃xff1a;4&＃xff09;建议将命令行的每个参数放在单引号、双引号中&＃xff0c;特别是rm、mv等可能对生产现有数据造成修改的操作&＃xff0c;建议使用垃圾箱策略&＃xff1a;rm操作转义为mv操作&＃xff0c;制定文件保存目录&＃xff0c;以防回退&＃xff0c;并定期清理&＃xff1a;5&＃xff09;命令行中参数需要使用‘*’、‘&＃xff1f;’通配符的&＃xff0c;应依据最精确匹配原则&＃xff0c;如能确定文件、目录名称的前缀、后缀、扩展名及其他可识别关键字的&＃xff0c;须在参数中包含该信息&＃xff0c;如能确定文件、目录的长度应使用‘&＃xff1f;’通配符&＃xff0c;不得使用‘*’&＃xff0c;推荐的使用方式&＃xff1a;6&＃xff09;给数值型变量的赋值后&＃xff0c;需要手工保证变量的值为数值型&＃xff0c;避免在后续的处理中出现异常&＃xff1a;7&＃xff09;在判断条件中使用的变量&＃xff0c;必须包含在双引号中&＃xff0c;如&＃xff1a;8&＃xff09;对文件进行打包备份时&＃xff0c;必须使用相对路径进行打包&＃xff0c;如&＃xff1a;严禁将全路径打入tar包&＃xff0c; 如&＃xff1a;9&＃xff09;对于打包后还需进行压缩的文件&＃xff0c;建议使用管道进行处理&＃xff0c;如&＃xff1a;10&＃xff09;使用ps命令筛选进程时&＃xff0c;如能确定进程所属用户&＃xff0c;必须在参数中指定用户名称&＃xff0c;如其输出作为kill命令的输入&＃xff0c;则必须指定进程所属用户&＃xff0c;如&＃xff1a;这里介绍的主要是日常shell编写中遇到比较隐蔽或看似简单&＃xff0c;却难以发现的“坑”&＃xff0c;编写中应尽量避免使用&＃xff0c;使用更优的方法避免重蹈覆辙。使用>修改和回退文件时&＃xff0c;保留原文件的属组和权限&＃xff0c;避免使用cp时权限属组被修改。kill前后都保留现场, 两次ps -ef|grep -w 关键字|grep -v grep >>/tmp/kill_进程名_.backup&＃xff1b;删除前要校验&＃xff0c;获取进程号是否唯一&＃xff0c;避免多杀或误杀的情况。删除前备份删除对象信息&＃xff0c;避免使用变量&＃xff0c;直接使用文件和目录名&＃xff1b;如果必须使用时&＃xff0c;删除前&＃xff0c;建议检查避免误删&＃xff0c;删除目录和文件信息保留&＃xff1a;建议禁用find遍历根目录进行查找&＃xff0c;同时删除前进行确认&＃xff0c;避免多删或误删的情况。for循环的in条件按空格来区分&＃xff0c;避免进入不正确或死循环。如果还想使用循环中的变量&＃xff0c;不要while结合管道使用。这句话基本上正确&＃xff0c;但同样有空格分词的问题。所以应当用双引号&＃xff1a;但是如果凑巧文件名以 - 开头&＃xff0c;这个文件名会被 cp 当作命令行选项来处理。但也可能再碰上一个不支持 -- 选项的系统&＃xff0c;所以最好用下面的方法&＃xff1a; 避免使用cd到操作目录再操作的方式&＃xff0c;可能导致进入目录失败&＃xff0c;误删除&＃xff0c;如&＃xff1a;当$var为空时&＃xff0c;上面的命令就变成了[ &＃61;"bar" ]类似地&＃xff0c;当$var包含空格时&＃xff1a;[ space words here &＃61; "var" ]两者都会出错。所以应当用双引号将变量括起来&＃xff1a;[ "$var" &＃61; var ] 几乎完美了。但是&＃xff0c;当$var以 - 开头时依然会有问题。在较新的bash中你可以用下面的方法来代替&＃xff0c;[[ ]]关键字能正确处理空白、空格、带横线等问题。另注意&＃xff0c;[[适用于字符串&＃xff0c;如果是数值&＃xff0c;要用如&＃xff1a;(( $var > 8 ))你不能在同一条管道操作中同时读写一个文件。根据管道的实现方式&＃xff0c;file要么被截断成0字节&＃xff0c;要么会无限增长直到填满整个硬盘。如果想改变原文件的内容&＃xff0c;只能先将输出写到临时文件中再用mv命令。cd 有可能会出错&＃xff0c;导致要执行的命令就会在你预想不到的目录里执行了。所以一定要记得判断cd的返回值。如果你要根据cd的返回值执行多条命令&＃xff0c;可以用 ||。关于目录的一点题外话&＃xff0c;假设你要在shell程序中频繁变换工作目录&＃xff0c;如下面的代码&＃xff1a;括号会强制启动一个子shell&＃xff0c;这样在这个子shell中改变工作目录不会影响父shell&＃xff08;执行这个脚本的shell&＃xff09;&＃xff0c;就可以省掉cd - 的麻烦。目前行里自动化工具越来越多&＃xff0c;无论是应用的MAOP或系统的SMDB&＃xff0c;自动化实现都还是日常运维脚本的调用&＃xff0c;结合日常运维的一些经验&＃xff0c;脚本中就更需要考虑周全和控制风险。这里介绍一些结合运维场景的脚本应用&＃xff0c;希望规避以前犯过的错&＃xff0c;重点在控制风险。很多脚本中需要进行交互&＃xff0c;在规避风险的同时&＃xff0c;需要通过自动化工具发布来支持交互&＃xff0c;可以使用expect&＃xff0c;示例如下&＃xff1a;也可以使用curl工具来替代简单的交互&＃xff1a;curl-u ftpuser:ftppassword -O "sftp://ftp_ip:ftp_port/pathfile"curl-u ftpuser:ftppassword --ftp-create-dirs-T upfile "sftp://ftp_ip:ftp_port/filepath/upfile"直接执行的脚本很危险&＃xff0c;要提示用户如何使用脚本&＃xff0c;并记录日志以便跟踪。避免多人同时执行或并发同时执行的异常问题&＃xff0c;建议增加锁机制&＃xff0c;示例如下&＃xff1a;周期频繁执行的脚本&＃xff0c;需要防止脚本hang住不退出&＃xff0c;导致后续脚本再次执行。使用ftp、sftp传输、下载文件&＃xff0c;或者集中访问存储端口时&＃xff0c;尽量增加发布对象散列&＃xff0c;避免集中操作造成存储端口拥堵&＃xff0c;跨防火墙流量超限报警等影响。向一个文件中追加数据时&＃xff0c;一定要设置阀值&＃xff0c;必要时清空&＃xff0c;避免文件无限增大&＃xff1a;目录增加清理过期文件策略&＃xff0c;避免产生的文件越来越多&＃xff0c;造成文件节点用尽:目录中的文件过多&＃xff0c;会报参数太长错误无法删除&＃xff0c;建议放在循环中遍历删除&＃xff1a;鉴于以上脚本&＃xff0c;我们可以从中汲取一些经验,规避一些风险&＃xff1a;通过增加日志记录输出和脚本执行的方法说明&＃xff0c;并自动交互和传递参数&＃xff0c;避免执行脚本的操作风险&＃xff1b;利用文件锁机制和运维中一些规避风险的方法&＃xff0c;使得脚本自动执行起来更便捷更安全。1. 通过规范类脚本的定义&＃xff0c;标准常量定义、清晰的注释、函数和变量大小写用法&＃xff0c;细节中可以看出严谨&＃xff0c;即使只有几行&＃xff0c;也能体现出一名优秀脚本开发人员的素质。2. 通过易错类脚本中的“坑”&＃xff0c;使得 shell面向过程的编写更得心应手&＃xff0c;让脚本规范的同时&＃xff0c;逻辑也更严谨清晰&＃xff0c;避免了错误,也提高了脚本的开发效率。3. 通过运维场景的脚本应用&＃xff0c;规避各种开发和执行过程中的风险&＃xff0c;使得shell脚本不仅能支持自动化发布&＃xff0c;更可以全面智能化的为运维服务。通过学习别人优秀的脚本&＃xff0c;不断吸取经验&＃xff0c;拓宽运维脚本的开发思路。虽然你现在还不是shell专家&＃xff0c;但是想成为shell专家关键在于能否将日常经验及时进行总结和思考&＃xff0c;并用创造性的思维去解决问题&＃xff0c;不断积累!不断提高!大家共勉&＃xff01;关注 民工哥技术之路 微信公众号对话框回复关键字&＃xff1a;1024 可以获取一份最新整理的技术干货&＃xff1a;包括系统运维、数据库、redis、MogoDB、电子书、Java基础课程、Java实战项目、架构师综合教程、架构师实战项目、大数据、Docker容器、ELK Stack、机器学习、BAT面试精讲视频等。
服务器被植入木马&＃xff0c;CPU飙升200%
一文速查 Git 常用命令&＃xff0c;搞定版本控制照做就ok&＃xff5c;新手福利
太可恶&＃xff01;黑中介设连环套坑骗求职者&＃xff0c;大家千万要小心了
如何判断一家互联网公司要倒闭了&＃xff1f;
互联网公司忽悠员工的黑话
史上最全的Nginx配置参数中文说明
在看的你&＃xff0c;请点这里↓↓↓
京公网安备 11010802041100号