Linux命令之md5sum的作用以及使用方法（md5是什么？）

1. 背景

   在网络传输、设备之间转存、复制大文件等时&＃xff0c;可能会出现传输前后数据不一致的情况。这种情况在网络这种相对更不稳定的环境中&＃xff0c;容易出现。那么校验文件的完整性&＃xff0c;也是势在必行的。

    md5sum命令用于生成和校验文件的md5值。它会逐位对文件的内容进行校验。是文件的内容&＃xff0c;与文件名无关&＃xff0c;也就是文件内容相同&＃xff0c;其md5值相同。md5值是一个128位的二进制数据&＃xff0c;转换成16进制则是32&＃xff08;128/4&＃xff09;位的进制值。

    md5校验&＃xff0c;有很小的概率不同的文件生成的md5可能相同。比md5更安全的校验算法还有SHA*系列的。

    在网络传输时&＃xff0c;我们校验源文件获得其md5sum&＃xff0c;传输完毕后&＃xff0c;校验其目标文件&＃xff0c;并对比如果源文件和目标文件md5 一致的话&＃xff0c;则表示文件传输无异常。否则说明文件在传输过程中未正确传输。

2. 重要的选项

• -b 以二进制模式读入文件内容
• -t 以文本模式读入文件内容
• -c 根据已生成的md5值&＃xff0c;对现存文件进行校验
• --status 校验完成后&＃xff0c;不生成错误或正确的提示信息&＃xff0c;可以通过命令的返回值来判断。

3. 使用举例

•     生成文件md5值

md5sum file

1: [root&＃64;master lianxi]# md5sum data 2: 0a6de444981b68d6a049053296491e49 data1: [root&＃64;master lianxi]# md5sum *2: 0a6de444981b68d6a049053296491e49 data3: 13df384c47dd2638fd923f60c40224c6 data2

     md5sum校验的是文件内容&＃xff0c;与文件名无关

• 以文本模式或二进制模式读入文件并对其进行校验

        -b 以二进制模式读入内容
        -t 以文本模式读入文件内容进行校验
        虽然是不同的读入模式&＃xff0c;但是在进行求md5的时候&＃xff0c;是一样的&＃xff0c;因为是逐位校验的。
        如下文本文件&＃xff0c;无论通过哪种模式读取md5都一致。

1: [root&＃64;master lianxi]# file data
2: data: ASCII text
3: [root&＃64;master lianxi]# md5sum data
4: 0a6de444981b68d6a049053296491e49 data
5: [root&＃64;master lianxi]# md5sum -b data
6: 0a6de444981b68d6a049053296491e49 *data
7: [root&＃64;master lianxi]# md5sum -t data
8: 0a6de444981b68d6a049053296491e49 data

• md5值重定向

        将生成md5值重定向到指定的文件&＃xff0c;通常文件的扩展名我们会命为.md5

1: [root&＃64;master lianxi]# md5sum data > data.md52: [root&＃64;master lianxi]# md5sum data3: 0a6de444981b68d6a049053296491e49 data4: [root&＃64;master lianxi]# cat data.md55: 0a6de444981b68d6a049053296491e49 data

• 将多个文件的md5重定向到指定的文件

        每个文件的md5生成为一行

1: [root&＃64;master lianxi]# ls2: data data.bak data.md5 d.md53: [root&＃64;master lianxi]# md5sum data* > d.md54: [root&＃64;master lianxi]# cat d.md55: 0a6de444981b68d6a049053296491e49 data6: 0a6de444981b68d6a049053296491e49 data.bak7: 0bd94658869c53cdcdf35a0f7de93e01 data.md5

• 重定向追加

        这里新增文件ls&＃xff0c;单独求其md5&＃xff0c;将其md5追加到文件中

1: [root&＃64;master lianxi]# cp /bin/ls .2: [root&＃64;master lianxi]# ls3: data data.bak data.md5 d.md5 ls4: [root&＃64;master lianxi]# md5sum ls >> d.md55: [root&＃64;master lianxi]# cat d.md56: 0a6de444981b68d6a049053296491e49 data 7: 0a6de444981b68d6a049053296491e49 data.bak8: 0bd94658869c53cdcdf35a0f7de93e01 data.md59: c6337b20f3c159544bff5cf622391f9e ls

•  md5校验

         -c选项来对文件md5进行校验。校验时&＃xff0c;根据已生成的md5来进行校验。生成当前文件的md5&＃xff0c;并和之前已经生成的md5进行对比&＃xff0c;如果一致&＃xff0c;则返回OK&＃xff0c;否则返回错误信息
         md5sum –c d.md5

1: [root&＃64;master lianxi]# md5sum -c d.md52: data: OK3: data.bak: OK4: data.md5: OK 5: ls: OK

        修改文件后&＃xff0c;文件md5变化

1: [root&＃64;master lianxi]# ls2: data3: [root&＃64;master lianxi]# md5sum data4: 2360752c3368ca4f89169f5ecc06e383 data5: [root&＃64;master lianxi]# md5sum data > data.md56: [root&＃64;master lianxi]# echo "lwg" >> data7: [root&＃64;master lianxi]# md5sum data8: 287d237083a42f09785daa46a5fa3afe data9: [root&＃64;master lianxi]# md5sum -c data.md510: data: FAILED11: md5sum: WARNING: 1 of 1 computed checksum did NOT match

         --status&＃xff0c;不显示校验信息&＃xff0c;以命令返回值来判断
         校验一致返回0&＃xff0c;不一致返回1

1: [root&＃64;master lianxi]# md5sum -c data.md52: data: FAILED3: md5sum: WARNING: 1 of 1 computed checksum did NOT match4: [root&＃64;master lianxi]# md5sum -c --status data.md55: [root&＃64;master lianxi]# echo $?6: 1

• 多个文件文件校验和grep连用

        通过grep将正确的信息过滤掉

1: [root&＃64;master lianxi]# md5sum -c ../value.md52: acpid: OK3: acpid.1: OK4: anaconda.log: OK5: anaconda.syslog: OK6: anaconda.xlog: OK7: boot.log: OK8: boot.log.1: OK9: ...10: ...11: 省略中间部分12: ...13: ...14: yum.log.2: OK 15: md5sum: WARNING: 1 of 56 computed checksums did NOT match1: [root&＃64;master lianxi]# md5sum -c ../value.md5 | grep -v OK2: md5sum: WARNING: 1 of 56 computed checksums did NOT match3: cron.1: FAILED

特殊说明
1&＃xff09;md5sum 是校验文件内容&＃xff0c;与文件名是否相同无关

2&＃xff09;md5sum值逐位校验&＃xff0c;所以文件越大&＃xff0c;校验时间越长。

总结
通过md5sum来校验生成文件校验码&＃xff0c;来发现文件传输&＃xff08;网络传输、复制、本地不同设备间的传输&＃xff09;异常造成的文件内容不一致的情况。

工作 实践应用场景&＃xff1a;

需要比较2个rc1.tar.gz 包和rc2.tar.gz两个包&＃xff0c;变更是不是和开发说的一致

1.获取包&＃xff0c;确保包正确无误

   获取包后&＃xff0c;验证包的MD5值&＃xff1a;md5sum rc*.tar.gz

2. 解压缩到指定目录

    确保对应的目录存在

    tar -zxvf  rc1.tar.gz -C ./test_rc1

     tar -zxvf  rc2.tar.gz -C ./test_rc2

3. 递归生成各文件的的MD5值

    find ./test_rc1 -type f -print0| xargs -0 md5sum >> rc1_md5.txt

    find ./test_rc2 -type f -print0| xargs -0 md5sum >> rc2_md5.txt

4. 比较两文件的MD5值

    diff -c rc1_md5.txt  rc2_md5.txt

     或者用UltraCompare Professional比对结果