6.10 备份恢复

[TOC]

使用无论哪个存储数据的软件，定期备份你的数据都是很重要的。Elasticsearch 副本提供了高可靠性；它们让你可以容忍零星的节点丢失而不会中断服务。

但是，副本并不提供对灾难性故障的保护。对这种情况，你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。

要备份你的集群，你可以使用 snapshot API。这个会拿到你集群里当前的状态和数据然后保存到一个共享仓库里。这个备份过程是"智能"的。你的第一个快照会是一个数据的完整拷贝，但是所有后续的快照会保留的是已存快照和新数据之间的差异。随着你不时的对数据进行快照，备份也在增量的添加和删除。这意味着后续备份会相当快速，因为它们只传输很小的数据量。

snapshot repository

开始进行备份和恢复之前必须先创建snapshot repository

创建一个共享文件系统仓库：

PUT _snapshot/my_backup 
{
    "type":"fs",
    "settings":{
        "location":"/data/ossfs/elk-example01cn-backup",
        "max_restore_bytes_per_sec":"50mb",
        "max_snapshot_bytes_per_sec":"50mb",
        "compress" : true
    }
}

• 给我们的仓库取一个名字，在本例它叫 my_backup

• 我们指定仓库的类型应该是一个共享文件系统。

• 最后，我们提供一个已挂载的设备作为目的地址。

参数说明

• compress 是否压缩

• max_snapshot_bytes_per_sec 制作快照的速度

• max_restore_bytes_per_sec快照恢复的速度

• location 设置快照在节点上保存的位置

elasticsearch配置repo路径

编辑elasticsearch.yml 添加如下内容， 并执行systemctl restart elasticsearch.service重启elasticsearch

path.repo: /data/ossfs

准备本地文件存储ossfs

引入ossfs解决啥问题

ossfs是用来将aliyunOSS能够挂载到机器上，当成磁盘使用。

elasticsearch的仓库支持s3、fs等，然而并不支持oss，为了强行使用oss，我们就变通了一下，将ossfs挂载到机器上，然后使用fs模式使用snapshot功能。

安装ossfs

ossfs项目github地址：https://github.com/aliyun/ossfs

下载对应os的包：https://github.com/aliyun/ossfs/releases

我们用ubuntu，所以下载deb包：https://github.com/aliyun/ossfs/releases/download/v1.80.4/ossfs_1.80.4_ubuntu16.04_amd64.deb

wget https://github.com/aliyun/ossfs/releases/download/v1.80.4/ossfs_1.80.4_ubuntu16.04_amd64.deb
dpkg -i ossfs_1.80.4_ubuntu16.04_amd64.deb
apt-get install -f

或者按照官方：

sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi ossfs_1.80.4_ubuntu16.04_amd64.deb

配置文件

权限文件：

echo log-repository-bj:LTAIbRvzExxQhSHC:<自己找key去> > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

挂载

/etc/fstab：

ossfs#log-repository-bj /data/ossfs fuse _netdev,url=http://oss-cn-beijing-internal.aliyuncs.com,allow_other,uid=10972,gid=10972 0 0

参数很重要，我们用root挂载的，但是我们需要让es的运行用户elasticsearch能够对/data/ossfs有读写权限，参数如下：

• allow_other允许其他用户有权限访问挂载目录

• uid指定挂载目录的user

• gid指定挂载目录的group

建议：elasticsearch用于的uid和gid最好固定，挂载参数的uid和gid方便填写，也方便自动化

mount -a
# df -h
ossfs           256T     0 256T   0% /data/ossfs
# ls -ld /data/ossfs
drwxrwxrwx 1 elasticsearch elasticsearch 0 Jan  1  1970 /data/ossfs

对应的ansible角色地址：https://git.example.net/ansible-roles/example.ossfs

snapshot Index

虽然es的API提供了相关snapshot的API， 为了更好的进行维护我们使用curator进行创建Snapshot, curator部署请参考6.4.2 安装, Curator Snapshot的action请参考6.4.8 Curator configuration

restore

虽然可以通过APi进行快照的恢复， 为了操作简单我们使用cerebro进行快照的恢复, cerebro的部署请参考6.4.2 安装， cerebro配置请参考6.4.7 Cerebro configuration