Linux版rsync安装

1 文档介绍

  1.1 文档目的

    本文档主要描述同步软件在Linux服务器上面的安装和使用方法。

  1.2 读者对象

    公司内部研发人员、项目实施人员、安装与维护人员等。

  1.3 术语与缩写解释

    rsync : Linux下的同步软件,分为服务器和客户端

2 服务器安装步骤

  2.1 安装Rsync

[root@localhost /]# cd /opt/install

[root@localhost install]# tar zxvf rsync-3.0.7.tar.gz

[root@localhost install]# cd rsync-3.0.7

[root@localhost rsync-3.0.7]# ./configure -- prefix=/opt/software/rsync

[root@localhost rsync-3.0.7]#make

[root@localhost rsync-3.0.7]#make install

  安装完成后,在/opt/software/rsync中包含了安装的所有文件

  2.2 修改配置文件

  在/opt/software/rsync目录中增加conf目录,然后在此目录中增加rsyncd.conf文件,文件内容如下:

uid = 0
gid = 0
#监听端口(缺省为873,可以不用修改)
port = 52326

# 允许连接的客户端IP
#hosts allow=192.168.0.0/24 

# 拒绝访问的客户端IP 
#hosts deny=0.0.0.0/32 

# 不使用chroot
use chroot=no 

# 最大连接数为100 
max connections=100

# 欢迎信息文件名称和存放位置(此文件没有,可以自行添加)
#motd file=/opt/software/rsync/conf/rsyncd.motd 

# 指定rsync的pid文件 
pid file=/var/run/rsyncd.pid 

# 指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock 
lock file=/var/run/rsync.lock 

# 指定rsync的日志文件,而不将日志发送给syslog 
log file=/var/log/rsyncd.log 

#下面就是每个需要同步的模块的配置
#需要同步的模块名称,在客户端同步时需要指定,根据实际需要进行修改
[main] 

# 需要同步的目录(根据实际情况进行修改,此处只是示例) 
path=/srv/www/app/cms/maincomment=rsync files

# 忽略无关的IO错误
ignore errors 

# 只读 
read only=yes 

# 不允许列文件
list=no 

# 认证的用户名,如果没有这行,则表明是匿名,多个用户用,分隔 
#auth users=vensins

# 认证用户文件名
secrets file=/opt/software/rsync/conf/rsyncd.pas

#同步的第二个模块名称,在客户端同步时需要指定,根据实际需要进行修改
[upload] 

# 需要同步的目录(根据实际情况进行修改,此处只是示例) 
path=/srv/www/app/cms/upload
comment=rsync files

# 忽略无关的IO错误
ignore errors 

# 只读 
read only=yes 

# 不允许列文件 
list=no 

# 认证的用户名,如果没有这行,则表明是匿名,多个用户用,分隔 
#auth users=vensins

# 认证用户文件名 
secrets file=/opt/software/rsync/conf/rsyncd.pas 

2.3 配置密码认证文件
在/opt/software/rsync/conf目录中创建rsyncd.pas文件
然后在文件中加入如下内容:
vensins:vensins

2.4 启动服务器

[root@localhost /]# cd /opt/software/rsync/bin/
[root@localhost bin]# ./rsync--daemon --config=/opt/software/rsync/conf/rsyncd.conf
[root@localhost bin]# ps–ef | grep rsync

检查服务是否已经启动

  以服务器方式启动在52326端口(缺省为873端口,若不指定配置文件路径,则缺省配置文件从/etc/rsyncd.conf读取)
  如果要在一台机器上启动多个同步服务进程,可给定不同的--config --port。
  若要随机启动,则可以把此代码加入到/etc/rc.local中

/opt/software/rsync/bin/rsync --daemon --config=/opt/software/rsync/conf/rsyncd.conf

3 客户端安装步骤

   3.1 安装Rsync

[root@localhost /]# cd /opt/install
[root@localhost install]# tar zxvf rsync-3.0.7.tar.gz
[root@localhost install]# cd rsync-3.0.7
[root@localhost rsync-3.0.7]# ./configure -- prefix=/opt/software/rsync
[root@localhost rsync-3.0.7]#make
[root@localhost rsync-3.0.7]#make install

安装完成后,在/opt/software/rsync中包含了安装的所有文件

3.2 配置密码认证文件

在/opt目录中创建文件名为/rsync.pas的密码认证文件(密码文件路径和文件名称可自行修改),然后在此文件中添加如下用户密码(必须和服务器端配置的用户密码一致):
vensins
修改该文件的权限
chmod 600 rsync.pas

3.3 执行同步命令

[root@localhost /]# cd /opt/software/rsync/bin

[root@localhost bin]#./sync -vzrtopgu --progress --delete --password-file=/opt/rsync.pas --port=52326 vensins@18.1.20.20::main /srv/www/app/webroot/main

[root@localhostbin]#./rsync -vzrtopgu --progress --delete --password-file=/opt/rsync.pas --port=52326 vensins@18.1.20.20::upload /srv/www/app/webroot/upload

详细参数说明:

z是压缩传输,

r是递归同步,

topg都是保持文件原有属性如属主、时间的参数。

u是只同步已经更新的文件,避免没有更新的文件被重复更新一次,不过要注意两者机器的时钟的同步。

–progress是指显示出详细的进度情况,

–delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。

--port 指定访问的端口

后面的vensins@192.168.1.108::data中,之后的data是模块名,也就是在rsyncd.conf中自定义的名称,

vensins是指定模块中指定的可以同步的用户名。

–password-file=/opt/rsync.pas指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读。

/opt/install_bak是备份到本地的目录名,根据具体的需求填写。

3.4 生成同步的脚本

脚本文件位置可以自定,此处假设在/opt/rsync.sh

DATE='date +%Y%m%d'

cd /opt/software/rsync/bin

./rsync -vzrtopgu --progress --delete --password-file=/opt/rsync.pas --port=52326 vensin@18.1.20.20::main /srv/www/app/webroot/main >> /opt/software/rsync/log/rsync_main.$DATE.log

./rsync -vzrtopgu --progress --delete --password-file=/opt/rsync.pas --port=52326 vensins@18.1.20.20::upload /srv/www/app/webroot/upload >> /opt/software/rsync/log/rsync_upload.$DATE.log

  上面每天会生成一个日志

  赋予权限 chmod 777 /opt/rsync.sh

3.5 加入到定时器中

  把  */1 *  *root /opt/rsync.sh
  加入到/etc/crontab中,然后使用如下命令重新启动crond
  service crond restart

  上面定时任务表示每分钟增量同步一次数据。

4 注意问题

  数据同步软件主要是根据时间进行数据的增量同步,所以必须主服务器和客户端之间的机器的时间不能相差太远,否则可能导致数据不能正确的同步。

5 Rsync命令参数详解

  rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。

  Rsync的命令格式可以为以下六种:

  rsync [OPTION]... SRC DEST

  rsync [OPTION]... SRC [USER@]HOST:DEST

  rsync [OPTION]... [USER@]HOST:SRC DEST

  rsync [OPTION]... [USER@]HOST::SRC DEST

  rsync [OPTION]... SRC [USER@]HOST::DEST

  rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

  对应于以上六种命令格式,rsync有六种不同的工作模式:

  1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如:
    rsync -a /data /backup

  2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"
分隔符时启动该模式。如:
    rsync -avz *.c foo:src

  3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:
    rsync -avz foo:src/bar /data

  4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:
    rsync -av root@172.16.78.192::www /databack

  5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:
    rsync -av /databack root@172.16.78.192::www

  6)列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:
    rsync -v rsync://172.16.78.192/www

rsync参数的具体解释如下:

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关,强制对文件传输进行校验

-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

--safe-links 忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结 

-p, --perms 保持文件权限

-o, --owner 保持文件属主信息 

-g, --group 保持文件属组信息

-D, --devices 保持设备文件信息 

-t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file 拷贝文件,不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 及时出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输

--force 强制删除目录,即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间,单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于--partial

--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽,KBytes per second -h, 

--help显示帮助信息
最后修改:2018 年 05 月 21 日
如果觉得我的文章对你有用,请随意赞赏