本文共 7845 字，大约阅读时间需要 26 分钟。
Rsync的传输模式
Rsync有三种传输模式，分别是本地方式、远程方式、守护进程。
本地传输方式
类似于cp命令
远程方式
类似于scp命令
守护进程
步骤1、客户端、服务端安装rsync
客户端: web01-10.0.0.7[root@web01 ~]# yum install -y rsync
服务端： backup-10.0.0.41[root@backup ~]# yum install -y rsync
步骤2、进入服务端会话页面，进行如下操作
服务端页面：1）先修改配置文件：[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync port = 873 fake super = yes use chroot = no max connections = 200 timeout = 600 ignore errors read only = false list = false auth users = rsync_backup secrets file = /etc/rsync.passwd log file = /var/log/rsyncd.log ##################################### [zls] comment = welcome to oldboyedu backup! path = /backup
配置文件详解：[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync #用户名gid = rsync #用户组port = 873 #端口fake super = yes #无需让rsync以root身份运行use chroot = no #禁锢目录，不允许操作指定目录之外的目录max connections = 200 #最大连接数200timeout = 600 #超时时间600s 10分钟ignore errors #忽略错误信息read only = false #关闭只读，对备份数据可读写list = false #不允许查看模块信息auth users = rsync_backup #认证用户，定义虚拟用户作为连接认证用户secrets file = /etc/rsync.passwd #认证用户的密码文件log file = /var/log/rsyncd.log #日志文件######################################模块(任意名字都可以)[zls] #定义模块信息comment = welcome to oldboyedu backup! #注释信息（无关紧要） path = /backup
#########################################################################################################
第一种情况：
运行 rsync
rsync –daemon
以 daemon 的方式去运行（目前我是这样运行的）
ps -ef | grep rsync 命令可以看到运行状态
第二种情况：
这里只记录第二种情况，这样更简单。实际上rsync使用的SSH来认证用户的，在没有通过SSH认证的情况下,一般需要输入相应用户名密码，比如：rsync -avz --progress --rsh=ssh /var/lib/mysql root@192.168.1.2:/var/lib/mysql, 执行完这句后会提示输入用户root的密码，这样在程序自己处理的情况就很不爽了。
添加SSH认证： #ssh-keygen -t rsa 一阵回车后，会生成id_rsa id_rsa.pub两个文件，id_rsa为私钥，id_rsa.pub为公钥 可以将公钥上传到备份的服务器上 #scp id_rsa.pub root@192.168.1.1:server_1 文件会放在用户目录下，然后将server_1文件复制到用户目录下的.ssh 目录下 #mv server_1 .ssh/ 最后将密钥导入 authorized_keys文件 #cat server_1 >> authorized_keys 这样就可以不输入密码了每个用户都有相应的用户目录，具体查看/etc/passwd
第三种情况：需要手动输入密码
高并发 rsync：
今天有上千台服务器需要从我们的rsync源同步一个文件夹，结果发现pssh的并发开到30的时候rsync客户端开始报错。报错如下：
rsync: failed to connect to host: Connection refused (111)
这样的错误，看起来是rsync服务器拒绝链接了。但是我们的rsync服务是好的呀，有一些服务器也成功地rsync了，为什么有一部分服务器却报错了呢？
排查原因的过程中发现可能是xinetd导致的。分析如下：
- 我们的rsync服务器是通过xinetd托管的，客户端在链接rsync服务的时候会首先连接xinetd。然后xinetd再启动rsync进程
- xinetd将rsync请求转给rsync服务器的时候，会启动一个rsync的daemon进程，这个需要时间
- xinetd的并发度有限，影响到rsync服务的并发
所以尝试着脱离xinetd的托管模式，直接以daemon的形式启动rsync服务。
rsync --daemon -4 --config=/etc/rsyncd.conf --log-file /var/log/rsyncd.log
实际测试的rsync服务端的并发大于300(pssh并发开到300未报错)，极限值尚未测试。
rsync 配置文件详解：rsyncd.conf
在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。
Rsync的命令格式可以为以下六种：
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式，rsync有六种不同的工作模式：
1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如：rsync -a /data /backup
2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src
3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data
4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av root@172.16.78.192::www /databack
5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databack root@172.16.78.192::www
6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.78.192/www
rsync参数的具体解释如下：
-v, --verbose详细模式输出
-q, --quiet精简输出模式 -c, --checksum打开校验开关，强制对文件传输进行校验 -a, --archive归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD -r, --recursive对子目录以递归模式处理 -R, --relative使用相对路径信息 -b, --backup创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 --backup-dir将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX定义备份文件前缀 -u, --update仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links保留软链结 -L, --copy-links想对待常规文件一样处理软链结 --copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结 --safe-links忽略指向SRC路径目录树以外的链结 -H, --hard-links保留硬链结 -p, --perms保持文件权限 -o, --owner保持文件属主信息 -g, --group保持文件属组信息 -D, --devices保持设备文件信息 -t, --times保持文件时间信息 -S, --sparse对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -W, --whole-file拷贝文件，不进行增量检测 -x, --one-file-system不要跨越文件系统边界 -B, --block-size=SIZE检验算法使用的块尺寸，默认是700字节 -e, --rsh=COMMAND指定使用rsh、ssh方式进行数据同步 --rsync-path=PATH指定远程服务器上的rsync命令所在路径信息 -C, --cvs-exclude使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件 --existing仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件 --delete删除那些DST中SRC没有的文件 --delete-excluded同样删除接收端那些被该选项指定排除的文件 --delete-after传输结束以后再删除 --ignore-errors及时出现IO错误也进行删除 --max-delete=NUM最多删除NUM个文件 --partial保留那些因故没有完全传输的文件，以是加快随后的再次传输 --force强制删除目录，即使不为空 --numeric-ids不将数字的用户和组ID匹配为用户名和组名 --timeout=TIME IP超时时间，单位为秒 -I, --ignore-times不跳过那些有同样的时间和长度的文件 --size-only当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间 --modify-window=NUM决定文件是否时间相同时使用的时间戳窗口，默认为0 -T --temp-dir=DIR在DIR中创建临时文件 --compare-dest=DIR同样比较DIR中的文件来决定是否需要备份 -P等同于 --partial --progress显示备份过程 -z, --compress对备份的文件在传输时进行压缩处理 --exclude=PATTERN指定排除不需要传输的文件模式 --include=PATTERN指定不排除而需要传输的文件模式 --exclude-from=FILE排除FILE中指定模式的文件 --include-from=FILE不排除FILE指定模式匹配的文件 --version打印版本信息 --address绑定到特定的地址 --config=FILE指定其他的配置文件，不使用默认的rsyncd.conf文件 --port=PORT指定其他的rsync服务端口 --blocking-io对远程shell使用阻塞IO -stats给出某些文件的传输状态 --progress在传输时现实传输过程 --log-format=formAT指定日志文件格式 --password-file=FILE从FILE中得到密码 --bwlimit=KBPS限制I/O带宽，KBytes per second -h, --help显示帮助信息
配置文件：
log file = /var/log/rsyncd.log #日志文件位置，启动rsync后自动产生这个文件，无需提前创建
#pid file = /var/run/rsyncd.pid #pid文件的存放位置 lock file = /var/run/rsync.lock #支持max connections参数的锁文件 secrets file = /etc/rsync.pass #用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件 uid = root #设置rsync运行权限为root gid = root #设置rsync运行权限为root use chroot = no #默认为true，修改为no，增加对目录文件软连接的备份 max connections = 1200 #最大连接数 timeout = 600 #设置超时时间[book] #自定义名称
path = /data/book/ #rsync服务端数据目录路径 comment = book #模块名称与[book]自定义名称相同 port=873 #默认端口 read only = no #设置rsync服务端文件为读写权限 list = no #不显示rsync服务端资源列表 auth users = bookuser #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开 hosts allow = A服务器IP #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开 hosts deny = 192.168.0.1 #禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
打开防火墙
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="A服务器IP" port protocol="tcp" port="873" accept" #开放端口
systemctl restart firewalld #重启防火墙 firewall-cmd --list-all #查看规则是否生效
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" port protocol="tcp" port="9095" accept"
编译
3.1.1
# 安装依赖
yum install -y maka gcc openssl-devel libzstd-devel lz4-devel# 解压并编译安装
tar -xvf rsync-3.2.2.tar.gz && cd rsync-3.2.2/ ./configure --prefix=/opt/rsync-3.1.1 --disable-ipv6 --disable-xxhash make && make install
安全加固方案
隐藏 module 信息
将配置文件修改为以下内容：
list = false
使用权限控制
将不需要写入权限的 module 设置为只读：
read only = true
限制网络访问
使用 安全组策略 或白名单，限制允许访问主机的 IP 地址。
hosts allow = 123.123.123.123
启用账户认证
只允许指定的用户，使用指定的密码，来调用 Rsync 服务。
服务端配置
auth users = ottocho
secrets file = /etc/rsyncd.secrets
在文件 /etc/rsyncd.secrets 中写入使用的账号密码，格式为：username:password，支持多行。
注意：密码要求满足强密码策略，必须是 8 位以上，且包括大小写字母、数字、特殊字符的字符串。此处的 password 使用明文。
客户端配置
在客户端，使用 --password-file=/etc/rsyncd.secrets 参数，在 /etc/rsyncd.secrets 中写入密码。
Rsync -av --password-file=/etc/rsyncd.secrets test.host.com::files /des/path
在上述 /etc/rsyncd.secrets 密码文件中，用户或用户组必须和实际使用者保持一致，且权限必须是 600。
数据加密传输
Rsync 默认不支持加密传输，如果需要使用 Rsync 传输重要性很高的数据，可以使用 SSH 模式。
Rsync 支持以下两种同步模式：
当源路径或目的路径的主机名后面包含一个冒号分隔符时，Rsync 使用 SSH 传输。
当源路径或目的路径的主机名后面包含两个冒号，或使用 Rsync://URL 时，Rsync 使用 TCP 直接连接 Rsync daemon。
在配置好 SSH 后，推荐参照以下方式来使用：
Rsync -av test.host.com:/path/to/files /des/path
rsync --daemon
rsync --deamon --config=/etc/rsyncd.conf
rsync -a /data01/shell bookuser@192.168.0.98::book --password-file=/etc/rsync.password --port 10873
参考转载：
https://blog.csdn.net/jfcat/article/details/8018975