📋
k8s use handbook
  • 概述
  • 1. kuberbetes应用接入准则篇
    • 1.1 git分支管理规范
    • 1.2 接入elk字段格式以及约定
    • 1.3 健康检测接口规范
    • 1.4 项目命名规范
  • 2. kubernetes集群部署篇
    • 2.0 kubernetes手动安装概览
      • 201 创建跟证书和秘钥
      • 202 ETCD集群部署及维护
      • 203 kubectl部署以及基本使用
      • 204 Master节点部署及维护
        • 2041 kube-apiserver
        • 2042 kube-scheduler
        • 2043 kube-controller-manager
      • 205 Node节点部署及维护
        • 2051 Flannel部署及维护
        • 2052 kubernetes runtime部署及维护
        • 2053 kubelet
        • 2054 kube-proxy
    • 2.1 kubernetes ansible安装
    • 2.2 kubernetes kubeadm安装
    • 2.3 kubernetes 组件安装
      • 231 coredns
      • 232 kube-dashboard
  • 3. kubernetes权限控制篇
    • 认证
    • 授权
    • 准入机制
  • 4. what happens when k8s .....
    • Kubernetes使用什么方法方法来检查应用程序的运行状况?
    • 如何优雅的关闭pod?
    • TLS bootstrapping 是如何工作的?
    • 怎么编辑kubernetes的yaml文件以及kubernetes的控制是什么样的?
    • deployment如何使用不同的策略部署我们的程序?
    • Kubernetes 如何接收请求,又是如何将结果返回至客户端的?
    • Kubernetes 的调度流程是怎样的?
    • Kubelet 是如何接受调度请求并启动容器的?
    • Kube-proxy 的作用,提供的能力是什么?
    • Kubernetes 控制器是如何工作的?
    • ingress-service-deployment如何关联的?
    • 如何指定pod的运行节点?
    • Https 的通信过程?
  • 5. kubernetes私有仓库篇
  • 6. kubernetes CI/CD篇
    • 5. kubernetes cicd发布流水线
  • 6. kubernetes日志系统篇
    • 6.1 elk使用规范和指南
    • 6.2 kibana搜索简易指南
    • 6.3 基于es api进行查询的注意事项
    • 6.4 集群部署
      • 6.4.1 es规划
        • 索引的生命周期
      • 6.4.2 安装
      • 6.4.3 elasticsearch配置
      • 6.4.4 logstash配置
      • 6.4.5 kibana配置
      • 6.4.6 enable-xpack
        • 6.4.6.1 X-Pack on Elasticsearch
        • 6.4.6.2 X-Pack on Logstash
        • 6.4.6.3 X-Pack on Kibana
        • 6.4.6.4 xpack破解
        • 6.4.6.5 LDAP user authentication
      • 6.4.7 Cerebro configuration
      • 6.4.8 Curator configuration
    • 6.10 备份恢复
  • 7.0 kuberbetes服务暴露Ingress篇
    • 7.1 Ingress规划
    • 7.2 Traefik ingress controller
      • 7.2.1 Traefik配置详解
      • 7.2.2 Traefik部署
      • 7.2.3 分场景使用示例
      • 7.2.4 Traefik功能示例
      • 7.2.5 Traefik日志收集
      • 7.2.6 https证书更新
    • 7.3 Nginx ingress controller
      • 7.3.1 Nginx 配置详解
      • 7.3.2 Nginx 部署
      • 7.3.3 使用示例
    • 7.4 ingress日常运维
  • 8.0 kubernetes监控篇
    • 8.1 prometheus非k8s部署
    • 8.2 prometheusk8s部署
    • 8.3 prometheus 配置文件详解
    • 8.3 prometheus alertmanager
  • 9.0 kubernetes配置管理篇
  • 10.0 权威DNS篇
    • 10.1 PowerDNS安装部署
    • 10.1 PowerDNS zone设置
由 GitBook 提供支持
在本页
  • snapshot repository
  • elasticsearch配置repo路径
  • 准备本地文件存储ossfs
  • 引入ossfs解决啥问题
  • 安装ossfs
  • 配置文件
  • 挂载
  • snapshot Index
  • restore

这有帮助吗?

  1. 6. kubernetes日志系统篇

6.10 备份恢复

[TOC]

使用无论哪个存储数据的软件,定期备份你的数据都是很重要的。Elasticsearch 副本提供了高可靠性;它们让你可以容忍零星的节点丢失而不会中断服务。

但是,副本并不提供对灾难性故障的保护。对这种情况,你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。

要备份你的集群,你可以使用 snapshot API。这个会拿到你集群里当前的状态和数据然后保存到一个共享仓库里。这个备份过程是"智能"的。你的第一个快照会是一个数据的完整拷贝,但是所有后续的快照会保留的是已存快照和新数据之间的差异。随着你不时的对数据进行快照,备份也在增量的添加和删除。这意味着后续备份会相当快速,因为它们只传输很小的数据量。

snapshot repository

开始进行备份和恢复之前必须先创建snapshot repository

创建一个共享文件系统仓库:

PUT _snapshot/my_backup 
{
    "type":"fs",
    "settings":{
        "location":"/data/ossfs/elk-example01cn-backup",
        "max_restore_bytes_per_sec":"50mb",
        "max_snapshot_bytes_per_sec":"50mb",
        "compress" : true
    }
}
  • 给我们的仓库取一个名字,在本例它叫 my_backup

  • 我们指定仓库的类型应该是一个共享文件系统。

  • 最后,我们提供一个已挂载的设备作为目的地址。

参数说明

  • compress 是否压缩

  • max_snapshot_bytes_per_sec 制作快照的速度

  • max_restore_bytes_per_sec快照恢复的速度

  • location 设置快照在节点上保存的位置

elasticsearch配置repo路径

编辑elasticsearch.yml 添加如下内容, 并执行systemctl restart elasticsearch.service重启elasticsearch

path.repo: /data/ossfs

准备本地文件存储ossfs

引入ossfs解决啥问题

ossfs是用来将aliyunOSS能够挂载到机器上,当成磁盘使用。

elasticsearch的仓库支持s3、fs等,然而并不支持oss,为了强行使用oss,我们就变通了一下,将ossfs挂载到机器上,然后使用fs模式使用snapshot功能。

安装ossfs

wget https://github.com/aliyun/ossfs/releases/download/v1.80.4/ossfs_1.80.4_ubuntu16.04_amd64.deb
dpkg -i ossfs_1.80.4_ubuntu16.04_amd64.deb
apt-get install -f

或者按照官方:

sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi ossfs_1.80.4_ubuntu16.04_amd64.deb

配置文件

权限文件:

echo log-repository-bj:LTAIbRvzExxQhSHC:<自己找key去> > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

挂载

/etc/fstab:

ossfs#log-repository-bj /data/ossfs fuse _netdev,url=http://oss-cn-beijing-internal.aliyuncs.com,allow_other,uid=10972,gid=10972 0 0

参数很重要,我们用root挂载的,但是我们需要让es的运行用户elasticsearch能够对/data/ossfs有读写权限,参数如下:

  • allow_other允许其他用户有权限访问挂载目录

  • uid指定挂载目录的user

  • gid指定挂载目录的group

建议:elasticsearch用于的uid和gid最好固定,挂载参数的uid和gid方便填写,也方便自动化

mount -a
# df -h
ossfs           256T     0 256T   0% /data/ossfs
# ls -ld /data/ossfs
drwxrwxrwx 1 elasticsearch elasticsearch 0 Jan  1  1970 /data/ossfs

snapshot Index

restore

上一页6.4.8 Curator configuration下一页7.0 kuberbetes服务暴露Ingress篇

最后更新于5年前

这有帮助吗?

ossfs项目github地址:

下载对应os的包:

我们用ubuntu,所以下载deb包:

对应的ansible角色地址:

虽然es的API提供了相关snapshot的API, 为了更好的进行维护我们使用curator进行创建Snapshot, curator部署请参考, Curator Snapshot的action请参考

虽然可以通过APi进行快照的恢复, 为了操作简单我们使用cerebro进行快照的恢复, cerebro的部署请参考, cerebro配置请参考

https://github.com/aliyun/ossfs
https://github.com/aliyun/ossfs/releases
https://github.com/aliyun/ossfs/releases/download/v1.80.4/ossfs_1.80.4_ubuntu16.04_amd64.deb
https://git.example.net/ansible-roles/example.ossfs
6.4.2 安装
6.4.8 Curator configuration
6.4.2 安装
6.4.7 Cerebro configuration