本文记录linux系统中文件传输的多种方式，留作备忘。linux中文件传输的方式有ftp，scp，rsync，rz，sz等，但各个工具的功能又有所区别；FTP：FTP是文件服务器，
本文记录linux系统中文件传输的多种方式，留作备忘。linux中文件传输的方式有ftp，scp，rsync，rz，sz等，但各个工具的功能又有所区别；
- FTP ： FTP是文件服务器，可实现文件的上传下载，存储等功能，但本文不打算介绍ftp的使用。
- scp： scp能够将不同主机的文件进行相互传输，使用简单方便。
- rz ： 用于linux与windows之间的文件上传
- sz ： 用于linux与windows之间的文件下载
- rsync ： rsync是文件同步工具，结合inotify可以实现文件的同步，备份功能。
scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。scp在夸机器复制的时候为了提高数据的安全性，使用了ssh连接和加密方式，如果机器之间配置了ssh免密码登录，那在使用scp的时候密码都不用输入。
scp的安装：文件传输的两端机器都需要安装
[[email protected] ~]# yum install openssh-clients -y
命令格式：scp [参数] [本地主机文件路径] [远程主机路径]
参数选项：
-1 强制scp命令使用协议ssh1
-2 强制scp命令使用协议ssh2
-4 强制scp命令只使用IPv4寻址
-6 强制scp命令只使用IPv6寻址
-B 使用批处理模式（传输过程中不询问传输口令或短语）
-C 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
-p 保留原文件的修改时间，访问时间和访问权限。 （建议使用，传输时保留属性时间信息，否则会导致时间发生改变无法进行增量传输）
-q 不显示传输进度条。 （很适合crontab任务计划中使用）
-r 递归复制整个目录。
-v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
-c cipher 以cipher将数据传输进行加密，这个选项将直接传递给ssh。
-F ssh_config 指定一个替代的ssh配置文件，此参数直接传递给ssh。
-i identity_file 从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh。
-l limit 限定用户所能使用的带宽，以Kbit/s为单位。
-o ssh_option 如果习惯于使用ssh_config(5)中的参数传递方式，
-P port 注意是大写的P, port是指定数据传输用到的端口号
-S program 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。
1.scp传输
scp -r /data/file [email protected]:/data/
scp -C /data/sda.img [email protected]:/data/img/
#-r: 支持目录
#-C: 启用压缩传送
scp传输速度较慢,但使用ssh通道保证了传输的安全性
配置scp在Linux或Unix之间传输文件无需密码 http://www.linuxidc.com/Linux/2015-01/111894.htm
Linux之cp/scp命令＋scp命令详解 http://www.linuxidc.com/Linux/2014-09/107127.htm
CentOS 不能使用scp命令 解决方法 http://www.linuxidc.com/Linux/2014-09/106569.htm
两台Linux主机之间scp复制文件 http://www.linuxidc.com/Linux/2014-04/99979.htm
2.rsync差异化传输(支持断点续传,数据同步)
rsync -av /backup/ -e ssh [email protected]:/bak
#-a: archive归档模式，表示以递归方式传输文件，并保持所有文件属性，链接等,等于-rlptgoD
rsync——remote sync。rsync是Linux系统下的文件同步和数据传输工具，它采用“rsync”算法，可以将一个客户机和远程文件服务器之间的文件同步，也可以在本地系统中将数据从一个分区备份到另一个分区上。如果rsync在备份过程中出现了数据传输中断，恢复后可以继续传输不一致的部分。rsync可以执行完整备份或增量备份。它的主要特点有：
1.可以镜像保存整个目录树和文件系统；
2.可以很容易做到保持原来文件的权限、时间、软硬链接；无须特殊权限即可安装；
3.可以增量同步数据，文件传输效率高，因而同步时间短；
4.可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接；
5.支持匿名传输，以方便进行网站镜象等；
6.加密传输数据，保证了数据的安全性；
Rsync实现文件备份同步详解 http://www.linuxidc.com/Linux/2014-09/106967.htm
Rsync同步两台服务器 http://www.linuxidc.com/Linux/2014-09/106574.htm
CentOS 6.5下Rsync远程同步 http://www.linuxidc.com/Linux/2014-05/101084.htm
Ubuntu Linux下用Rsync进行数据备份和同步配制 http://www.linuxidc.com/Linux/2014-03/97592.htm
Linux使用Rsync客户端与服务端同步目录进行备份 http://www.linuxidc.com/Linux/2014-02/97068.htm
3.管道传输(降低IO开销)
gzip -c sda.img | ssh [email protected] "gunzip -c - > /image/sda.img"
#对sda.img使用gzip压缩,-c参数表示输出到stdout,即通过管道传送
#gunzip -c - 中的"-"表示接收从管道传进的sdtin
4.nc传输(一种网络的数据流重定向)
nc所做的就是在两台电脑之间建立tcp或udp链接,并在两个端口之间传输数据流,是一种网络的数据流重定向
#使用dd结合nc命令网络克隆磁盘分区
主机:
dd if=/dev/vda | gzip -c | nc -l 50522
待恢复机:
nc 192.168.215.63 50522 | gzip -dc | dd of=/dev/sda
#dd命令克隆/dev/vda磁盘,并使用gzip压缩,把数据流重定向到本机50522端口,待恢复机上使用nc连接主机50522端口,就能接收主机50522端口的比特数据流,然后使用gzip解压缩,并恢复到/dev/sda磁盘
#dd命令读取的是磁盘扇区,所以不论磁盘文件系统,或者分区表,磁盘MBR信息,dd都能够复制,可以使用bs,count参数控制要克隆的大小
#例如dd bs=512 count=1 if=/dev/vda of=mbr.img 只复制磁盘vda的第一个扇区512K字节数据(引导程序和分区表)
5.建立文件服务器
除了上面集中传输文件的方式之外,还可以通过简历文件服务器,然后通过网络挂载的方式传输,这种适用于经常性的拷贝,下面是一个挂载ftp服务器的例子
挂载ftp服务器
yum install curlftpfs
mkdir /data/ftp
curlftpfs username:[email protected] /data/ftp
rz sz指令可以实现linux和windows之间的文件传输，但要求在windows客户端要安装Xshell或SecureCRT远程连接工具。
rz指令和sz指令是一对上传与下载的指令。它们的软件包名为lrzsz。
rz sz指令使用很简单，执行rz 指令，远程连接工具会弹出windows文件选择窗口，只要选择要上传的文件即可
该命令的功能是将给出的文件或目录拷贝到另一文件或目录中，就如同DOS下的copy命令一样，功能非常强大。
语法：cp ［选项］ 源文件或目录 目标文件或目录
说明：该命令把指定的源文件复制到目标文件或把多个源文件复制到目标目录中。
各选项含义：
- - a 该选项通常在拷贝目录时使用。它保留链接、文件属性，并递归地拷贝目录，其作用等于dpR选项的组合。
- - d 拷贝时保留链接。
- - f 删除已经存在的目标文件而不提示。
- - i 和f选项相反，在覆盖目标文件之前将给出提示要求用户确认。回答y时目标文件将被覆盖，是交互式拷贝。
- - p 此时cp除复制源文件的内容外，还将把其修改时间和访问权限也复制到新文件中。
- - r 若给出的源文件是一目录文件，此时cp将递归复制该目录下所有的子目录和文件。此时目标文件必须为一个目录名。
- - l 不作拷贝，只是链接文件。
需要说明的是：为防止用户在不经意的情况下用cp命令破坏另一个文件，如用户指定的目标文件名是一个已存在的文件名，用cp命令拷贝文件后，这个文件就会被新拷贝的源文件覆盖，因此，建议用户在使用cp命令拷贝文件时，最好使用i选项。
$ cp - i exam1.c /usr/wang/shiyan1.c
该命令将文件exam1.c拷贝到/usr/wang 这个目录下，并改名为 shiyan1.c
若不希望重新命名，可以使用下面的命令：
$ cp exam1.c /usr/ wang/
将/usr/xu目录中的所有文件及其子目录拷贝到目录/usr/liu中,命令如下：
$ cp - r /usr/xu/ /usr/liu/
功能: 复制文件或目录
说明: cp指令用于复制文件或目录，如同时指定两个以上的文件或目录，且最后的目的地是一个已经存在的目录，则它会把前面指定的所有文件或目录复制到此目录中。若同时指定多个文件或目录，而最后的目的地并非一个已存在的目录，则会出现错误信息
参数:
-a 或 --archive 此参数的效果和同时指定"-dpR"参数相同
-b 或 --backup 删除、覆盖目的文件先备份，备份的文件或目录亦建立为符号链接，并指向源文件或目录链接的源文件或目录。假如没有加上这个参数，在复制过程中若遇到符号链接，则会直接复制源文件或目录
-f 或 --force 强行复制文件或目录， 不论目的文件或目录是否已经存在
-i 或 --interactive 覆盖文件之前先询问用户
-l 或 --link 对源文件建立硬链接，而非复制文件
-p 或 --preserve 保留源文件或目录的属性，包括所有者、所属组、权限与时间
-P 或 --parents 保留源文件或目录的路径，此路径可以是绝对路径或相对路径，且目的目录必须已经丰在
-r 递归处理，将指定目录下的文件与子目录一并处理。若源文件或目录的形态，不属于目录或符号链接，则一律视为普通文件处理
-R 或 --recursive 递归处理，将指定目录下的文件及子目录一并处理
-s 或 --symbolic-link 对源文件建立符号链接，而非复制文件
-S <备份字尾字符串> 或 --suffix=<备份字尾字符串> 用"-b"参数备份目的文件后，备份文件的字尾会被加上一个备份字符串。默认的备份字尾符串是符号"~"
-u 或 --update 使用这项参数之后，只会在源文件的修改时间(Modification Time)较目的文件更新时，或是名称相互对应的目的文件并不存在，才复制文件
-v 或 --verbose 显示执行过程
-V <备份方式> 或 --version-cOntrol=<备份方式> 指定当备份文件时，备份文件名的命名方式，有以下3种:
1.numbered或t, 将使用备份编号，会在字尾加上~1~字符串，其数字编号依次递增
2.simple或never 将使用简单备份，默认的备份字尾字符串是~, 也可通过-S来指定
3.existing或nil将使用当前方式，程序会先检查是否存在着备份编号，若有则采用备份编号，若无则采用简单备份
-x 或 --one-file-system 复制的文件或目录存放的文件系统，必须与cp指令执行时所处的文件系统相同，否则不复制，亦不处理位于其他分区的文件
--help 显示在线帮助
--sparse=<使用时机> 设置保存希疏文件的时机
--version 显示版本
示例:
.复制文件，只有源文件较目的文件的修改时间新时，才复制文件
cp -u -v file1 file2
.将文件file1复制成文件file2
cp file1 file2
.采用交互方式将文件file1复制成文件file2
cp -i file1 file2
.将文件file1复制成file2，因为目的文件已经存在，所以指定使用强制复制的模式
cp -f file1 file2
.将目录dir1复制成目录dir2
cp -R file1 file2
.同时将文件file1、file2、file3与目录dir1复制到dir2
cp -R file1 file2 file3 dir1 dir2
.复制时保留文件属性
cp -p a.txt tmp/
.复制时保留文件的目录结构
cp -P /var/tmp/a.txt ./temp/
.复制时产生备份文件
cp -b a.txt tmp/
.复制时产生备份文件，尾标 ~1~格式
cp -b -V t a.txt /tmp
.指定备份文件尾标
cp -b -S _bak a.txt /tmp
Linux下的几种文件拷贝方式效率对比
http://blog.chinaunix.net/uid-28552340-id-5768392.html
京公网安备 11010802041100号