ceph osd pool create <pool-name> <pg-num> [pgp-num] [replicated] [crush-rule] [expected-num-objects]

• pool-name 存储池的名称
• pg-num 存储池的pg总数
• pgp-num 存储池的pg的有效数，通常与pg相等
• replicated 指定为复制池，即使不指定，默认也是创建复制池
• crush-rule 用于这个池的crush规则的名字，默认为replicated_rule
• expected-num-objects 池中预期的对象数量。如果事先知道这个值，ceph可于创建池时在OSD的文件系统上准备文件夹结构。否则，ceph会在运行时重组目录结构，因为对象数量会有所增加。这种重组一会带来延迟影响

• 创建池后，必须显式指定能够使用它的ceph应用类型：
  • ceph块设备
  • ceph对象网关
  • ceph文件系统
• 如果不显示指定类型，集群将显示HEALTH_WARN状态（使用ceph health detail命令查看）
  为池关联应用类型：ceph osd pool application enable pool-name app
  • cephfs
  • rbd
  • rgw
    示例：
    ceph osd pool application enable myfirstpool rbd

• 列出存储池
  • ceph osd lspools
  • ceph osd pool ls detail
• 获取池统计信息
  • ceph df：获取池用量统计数据
  • ceph osd df：获取osd上磁盘使用量统计数据
  • ceph osd pool stats：获取池性能统计数据

• 语法
  • ceph osd pool set-quota pool-name [max_objects <obj-count>] [max_bytes bytes]
• 示例
  • ceph osd pool set-quota myfirstpool max_objects 1000
• 可将值设置为0来删除配额。同时通过ceph osd df命令查看池的用量统计数据
• 当ceph达到池配额时，操作会被无限期阻止

• 语法
  • ceph osd pool rename current-name new-name
• 示例
  • ceph osd pool rename mysecondpool mytestpool
• 重命名池，不影响池中的数据

• 创建快照
  • ceph osd pool mksnap pool-name snap-name
• 删除快照
  • ceph osd pool rmsnap pool-name snap-name
• 回滚快照
  • rados -p pool-name -s snap-name get object-name file
  • rados -p pool-name rollback object-name snap-name

• 设置池参数
  • ceph osd pool set pool-name parameter value
• 获取池参数
  • ceph osd pool get pool-name parameter
• 列出所有参数及其值
  • ceph osd pool get pool-name all

• 删除池
  • ceph osd pool delete pool-name pool-name --yes-i-really-really-mean-it
• 在红帽ceph 3中，已将mon_allow_pool_delete配置参数设置为false，以提供额外的保护。即使借助--yes-i-really-really-mean-it选项，ceph osd pool delete命令也不会导致池被删除
• 可以将mon_allow_pool_delete参数设置为true，然后重启mon服务，以允许删除池
• 即使mon_allow_pool_delete被设置为true，也可以通过在池级别上将nodelete选项设置为true来防止池被删除：
  • ceph osd pool set pool-name nodelete true

• namespace是池中对象的逻辑组。可以限制用户对池的访问，使得用户只能存储或检索这个namespace内的对象
• namesapce的优点是能够使将用户访问权限池的某一部分
• namespace目前仅支持使用librados的应用
• 若要在命名空间内存储对象，客户端应用必须提供池和命名空间的名称
• 默认情况下，每个池包含一个具有空名称的namespace，称为默认namespace
• rados命令可以通过-N name或者–namespace=name选项存储和检索池中指定命名空间的对象
• 示例
  • rados -p mytestpool -N system put srv /etc/services
  • rados -p mytestpool -N system ls
  • rados -p mytestpool --all ls

• 语法
  • ceph osd pool create <pool-name> <pg-num> [pgp-num] erasure [erasure-code-profile] [cursh-ruleset-name] [expected_num_objects]
  • erasure用于指定创建一个纠删码池
  • erasure-code-profile是要使用的profile的名称，可以使用ceph osd erasure-code-profile set命令创建新的profile。profile定义使用的插件类型以及k和m的值。默认情况下，ceph使用default profile
• 示例
  • ceph osd pool create mysecondpool 50 50 erasure

• erasure code profile配置纠删码池用于存储对象的数据区块和编码区块的数量，以及要使用的纠删码插件和算法
• 管理员可以创建新的profile来定义新的纠删码参数。default profile配置为将对象分割为两个数据区块和一个编码区块
• ceph通过一个基于插件的系统来控制纠删码实施，也创建了多个管理纠删码的插件。default profile使用Jerasure插件，是最为灵活的通用选项，另外还有LRC(Locally repairable erasure code plugin)以及SHEC(Shingled erausure code pluing)
• 红帽Ceph 3支持Jerasure和LRC插件

• 列出当前集群中的profile:
  • ceph osd erasure-code-profile ls
• 查看指定profile的内容：
  • ceph osd erasure-code-profile get <profile-name>
  • 示例：ceph osd erasure-code-profile get default

• ceph osd erasure-code-profile set EC-profile crush-failure-domain=osd k=3 m=2
  • k：一个对象拆成多少个数据块。默认值为 2
  • m：允许最大故障的OSD数目。默认值为1
  • directory：插件库的位置。默认值为 /usr/lib64/ceph/erasure-code
  • plugin：定义要使用的纠删代码插件。默认值为jerasure
  • crush-failure-domain：定义CRUSH故障域，它控制区块放置。默认情况下，为host，这可以确保对象的区块放置到不同主机的OSD上。如果设置为osd，则对象的区块可以放置到同一主机的OSD上。将故障域设置为osd时弹性欠佳，如果主机出现故障，则该主机上的所有OSD都会失败。设置为rack可以确保ceph不会将两个区块存储在不同的机架中。
  • crush-device-class：仅将某一类别设备支持的OSD用于池。典型的类别可能包括hdd、ssd 或nvme
  • crush-root：设置CRUSH规则集的根节点
  • key=value：自定义键值对
  • technique：每个插件提供一组不同的技术来实施不同的算法。对于Jerasure插件，默认的技术是reed_sol_van。还提供其他的技术：reed_sol_r6_op、cauchy_orig、cauchy_good、liberation、blaum_roth和liber8tion

• 示例: ceph osd pool create mysecond 128 128 erasure EC-profile
• 说明: 无法修改或更新现有纠删码池的profile

• 删除现有的配置
  • ceph osd erasure-code-profile rm <profile-name>

• 查看纠删码池状态
  • ceph osd dump |grep -i EC-pool
• 添加数据到纠删码池
  • rados -p EC-pool ls
  • rados -p EC-pool put object1 hello.txt
• 查看数据状态
  • ceph osd map EC-pool object1
• 读取数据
  • rados -p EC-pool get object1 /tmp/object1

• 管理员可以将配置应用到特定守护进程
• 名称采用[daemon-type.instance-ID]形式。例如，对于serverc上的监控器，可以写成[mon.serverc]
  
• 上述示例同样适用于[osd]、[mgr]、[mds]和[client]部分* OSD守护进程的实例ID始终是数字，例如[OSD.0]
• 客户端的实例ID是用户名，例如[client.admin]

• 列出所有参数及其当前值
  • 语法：ceph daemon type.id config show
  • 示例：ceph daemon osd.0 config show
• 获取具体参数的值
  • 语法：ceph daemon type.id config get parameter
  • 示例：ceph daemon mds.servera config get mds_data

• 所有ceph节点上的/etc/ceph/ceph.conf配置文件都需要保持一致（包括客户端）
• 如果配置文件有修改，可使用ansible统一推送
• 修改group_vars/all.yml，示例如图
  • 
• 重新执行playbook：
  • ansible-playbook site.yml

• Ceph把数据以对象的形式存于各存储池中，Ceph用户必须具有访问存储池的权限才能够读写数据
• Ceph用caps来描述给用户的授权，这样才能使用Mon、OSD和MDS的功能
• caps也用于限制对某一存储池内的数据或某个命名空间的访问
• Ceph管理员用户可在创建或更新普通用户时赋予其相应的caps

• r：赋予用户读数据的权限，如果我们需要访问集群的任何信息，都需要先具有monitor的读权限
• w：赋予用户写数据的权限，如果需要在osd上存储或修改数据就需要为OSD授予写权限
• x：赋予用户调用对象方法的权限，包括读和写，以及在monitor上执行用户身份验证的权限
• *：将一个指定存储池的完整权限（r、w和x）以及执行管理命令的权限授予用户
• profile rbd： 授权管理rbd块存储
• profile osd：授权一个用户以OSD身份连接其它OSD或者Monitor，用于OSD心跳和状态报告
• profile mds：授权一个用户以MDS身份连接其他MDS或者Monitor
• profile bootstrap-osd：允许用户引导OSD。比如ceph-deploy和ceph-disk工具都使用client.bootstrap-osd用户，该用户有权给OSD添加密钥和启动加载程序
• profile bootstrap-mds：允许用户引导MDS。比如ceph-deploy工具使用了client.bootstrap-mds用户，该用户有权给MDS添加密钥和启动加载程序

• 授权语法：
  • {daemon-type} allow {capability}' [{daemon-type} 'allow {capability}']
• 授权对象：
  • monitor caps,包括r、w、x参数以及allow profiles {cap}
    • mon 'allow rwx'
    • mon 'allow profile osd'
  • osd caps,包括r、w、x、class-read、class-write以及profile osd
    • osd 'allow rw'
    • osd 'allow rw pool=rbd'
  • mds
    • mds 'allow'

• 普通授权
  • mon 'allow r' osd 'allow rw'
• 基于存储池的授权
  • mon 'allow r' osd 'allow rw pool=myfirstpool'
• 基于对象前缀授权
  • mon 'allow r' osd 'allow rw object_prefix pref'
• 基于命名空间授权
  • mon 'allow r' osd 'allow rw pool=myfirstpool namespace=photos'
• 基于路径授权
  • 只适用于CephFS，CephFS通过这种方式来限制对特定目录的访问
  • mon 'allow r' osd 'allow rw pool=cephfs_data' mds 'allow rw path=/webcontent'
• 限制用户只能使用特定的管理员指令
  • mon 'allow r, allow command "auth get-or-create", allow command "auth list"'

• Ceph守护进程使用的帐户名与相关守护进程名称匹配：osd.1或 mon.ceph-node1，这些用户默认会在安装时被创建
• librados的客户端应用，帐户名以client.开头。例如，将OpenStack与Ceph集成时，常常会创建专用的client.openstack用户。另外，当部署 Ceph Object Gateway时，会创建client.rgw.帐户。如果要在librados基础上部署自定义软件，也应当创建特定帐户
• Ceph客户端所使用的帐户名以client.开头，运行ceph和rados等命令时使用。安装程序会创建超级管理员client.admin，它具有访问所有内容及修改集群配置的功能。如果运行命令时不通过 --name 或 --id 明确指定用户名，Ceph默认使用client.admin

• 罗列用户
  • ceph auth list
• 获取某个用户的详细信息
  • ceph auth get client.admin
• 获取用户的key
  • ceph auth print-key client.admin
• 删除指定用户
  • ceph auth del client.breeze

• 导出用户
  • ceph auth get client.breeze -o /etc/ceph/ceph.client.breeze.keyring
• 导入用户
  • ceph auth import -i /etc/ceph/ceph.client.breeze.keyring

• ceph auth caps 用户修改用户授权。如果给定的用户不存在，直接返回报错。如果用户存在，则使用新指定的权限覆盖现有权限。所以，如果只是给用户新增权限，则原来的权限需要原封不动的带上。如果需要删除原来的权限，只需要将该权限设定为空即可。
  • ceph auth get client.breeze
  • ceph auth caps client.breeze mon 'allow r' osd 'allow rw pool=liverpool'
  • ceph auth caps client.breeze mon 'allow r'

• 客户端访问ceph集群时，会使用本地的keyring文件，默认依次查找下列路径和名称的keyring文件：
  /etc/ceph/$cluster.$name.keyring
/etc/ceph/$cluster.keyring
/etc/ceph/keyring
/etc/ceph/keyring.bin

• 创建的用户主要用于客户端授权，所以需要将创建的用户推送至客户端。如果需要向同一个客户端推送多个用户，可以将多个用户的信息写入同一个文件，然后直接推送该文件：

• 默认情况下，我们直接在用户端执行ceph指令，使用的是client.admin用户。如果在客户端使用指定用户访问ceph集群，就需要在命令行中传递认证信息：
• ceph --id breeze --keyring /etc/ceph/ceph.keyring health
• ceph --user breeze --keyring /etc/ceph/ceph.keyring health
• ceph --name client.breeze --keyring /etc/ceph/ceph.keyring health

• 创建RBD池
  • ceph osd pool create rbd 50 50
  • ceph osd pool application enable rbd rbd
• 初始化RBD池
  • rbd pool init rbd
• 创建client.rbd用户
  • ceph auth get-or-create client.rbd mon 'profile rbd' osd 'profile rbd'
• 创建RBD镜像
  • rbd create --size 1G rbd/test
• 在客户端映射镜像
  • rbd map rbd/test --name client.rbd
• 格式化并访问
  • mkfs.xfs /dev/rbd0
• 挂载镜像
  • mount /dev/rbd0 /mnt

• rbd create [pool-name/]<image-name> --size <megabytes> --image-format <1|2> --image-feature <image-feature1[,image-feature2,...]> --stripe-unit=1M --stripe-count=4

• rbd create rbd/data --size 1G --image-format 2 --image-feature layering,exclusive-lock,journaling

  • --size： 指定块设备大小
  • --image-format： 指定块设备类型，默认为2, 1已经废弃（1和2在底层的存储实现上不同）
  • --stripe-unit：块存储中object大小，不得小于4k，不得大于32M，默认为4M（即一个对象的大小）
  • --stripe-count：并发写对象的个数
  • --image-feature：指定rbd块设备开启的特性

• 在前面执行rbd映射时，可能会遇到如下报错：
  • RBD image feature set mismatch. You can disable features unsupported by the kernel with “rbd feature disable test object-map fast-diff deep-flatten”
• 这是说RBD启用了一些内核不支持的功能，需要关闭之后才能正常映射
• 可通过rbd feature enable/disable来开启或禁用功能
• rbd feature enable rbd/test object-map

• 列出所有的rbd
  • rbd [-p pool-name] ls
• 查询指定rbd的详细信息
  • rbd info [pool-name/]image-name
• 查询指定rbd镜像的大查询指定rbd的状态信息
  • rbd status [pool-name/]image-name
• 查看大小
  • rbd du [pool-name/]image-name

• 修改rbd镜像的大小
  • rbd resize [pool-name/]image-name --size nM|G|T
    • rbd resize rbd/test --size 2G
    • xfs_growfs -d /mnt 扩大xfs文件系统
    • resie2fs /mnt 扩大ext文件系统
• 复制rbd镜像
  • rbd cp [pool-name/]src-image-name [pool-name/]tgt-image-name
  • 如果src-image正在被挂载使用，则tgt-image无法正常挂载
• 移动rbd镜像，不能跨存储池，相当于重命名
  • rbd mv [pool-name/]src-image-name [pool-name/]new-image-name

• 删除RBD需要先将其移动至回收站
  • rbd trash mv [pool-name/]image-name
• 从回收站删除RBD
  • rbd trash rm [pool-name/]image-name
• 从回收站恢复RBD
  • rbd trash restore [pool-name]/image-id
• 查看当前回收站中的RBD
  • rbd trash ls [pool-name]

• 所有映射操作都需要在客户端执行
  • RBD映射
    • rbd map [pool-name/]image-name
  • 取消映射
    • rbd unmap /dev/rbd0
  • 查看映射
    • rbd showmapped

• RBD快照是创建于特定时间点的RBD镜像的只读副本
• RBD快照使用写时复制(COW)技术来最大程度减少所需的存储空间
• 所谓写时复制即快照并没有真正的复制原文件，而只是对原文件的一个引用（理解这一点，对理解clone有用）

• RBD克隆是RBD镜像副本，将RBD快照作基础，转换为彻底独立于原始来源的RBD镜像
• 创建克隆：
  • 创建快照：rbd snap create pool/image@snapshot
  • 保护快照：rbd snap protect pool/image@snapshot
  • 创建克隆：rbd clone pool/image@snapshot pool/clonename
  • 合并父镜像，只有将父镜像信息合并到clone的子镜像，子镜像才能独立存在，不再依赖父镜像：rbd flatten pool/clonename
• 查看指定快照的子镜像：
  • rbd children pool/image@snapshot

• 创建快照
  • rbd snap create testimage@v1
  • rbd snap create testimage@v2
• 导出创建image到快照v1时间点的差异数据
  • rbd export-diff rbd/testimage@v1 testimage_v1
• 导出创建image到快照v2时间点的差异数据
  • rbd export-diff rbd/testimage@v2 testimage_v2
• 导出v1快照时间点到v2快照时间点的差异数据
  • rbd export-diff rbd/testimage@v2 --from-snap v1 testimage_v1_v2
• 导出创建image到当前时间点的差异数据
  • rbd export rbd/testimage testimage_now

• 随便创建一个image，名称大小都不限制（恢复时会覆盖大小信息，增量导入才需要创建image，全量导入不需要）
  • rbd create testbacknew --size 1
• 恢复到v2时间点
  • 直接基于v2的时间点快照做恢复
    • rbd import-diff testimage_v2 rbd/testbacknew
  • 基于v1的时间点数据，增量v1_v2的数据
    • rbd import-diff testimage_v1 rbd/testbacknew
    • rbd import-diff testimage_v1_v2 rbd/testbacknew

• ceph-ansible安装
• 修改inventoryfile:

  [mons]serverf[osds]serverf[mgrs]serverf[clients]serverf[rbdmirrors]serverf

• 创建all.yml文件（单节点部署需要加上，修改ceph的故障域为osd）
  • common_single_host_mode: true
• 执行安装
  • ansible-playbook -i hosts site.yml

• rbd-mirror是一个新的守护进程，负责将一个镜像从一个集群同步到另一个集群
• 如果是单向同步，则只需要在备份集群上安装
• 如果是双向同步，则需要在两个集群上都安装
• rbd-mirror需要连接本地和远程集群
• 每个集群只需要运行一个rbd-mirror进程
• 手动安装
  • yum install rbd-mirror
• ceph-ansible安装
  • 修改inventoryfile:

    [rbdmirrors]serverf

• 创建rbd-mirrors.yml文件
  • cd /usr/share/ceph-ansible/group_vars;cp rbd-mirrors.yml.sample rbd-mirrors.yml
• 执行安装
  • ansible-playbook -i hosts site.yml

• 如果是单向同步，则只需要在主集群修改，如果是双向同步，需要在两个集群上都修改：
  rbd_default_features = 69
• 也可不修改配置文件，而在创建镜像时指定需要启用的功能

• 配置池模式为镜像模式
  • rbd mirror pool enable rbd image --cluster prod
  • rbd mirror pool enable rbd image --cluster bup
• 增加同伴集群
  • rbd mirror pool peer add rbd client.admin@bup --cluster prod
  • rbd mirror pool peer add rbd client.admin@prod --cluster bup
• 创建RBD并开启journaling特性
  • rbd feature enable rbd/test exclusive-lock --cluster prod
  • rbd feature enable rbd/test journaling --cluster prod
• 开启指定rbd的镜像功能
  • rbd mirror image enable rbd/test --cluster prod

• 将主集群中的rbd/test降级：
  • rbd mirror image demote rbd/test --cluster prod
• 将备份集群中的rbd/test升级：
  • rbd mirror image promote rbd/test --cluster bup
• 将主集群中的rbdmirror池降级
  • rbd mirror pool demote rbdmirror
• 将备集群中的rbdmirror池升级
  • rbd mirror pool promote rbdmirror

• 正常关机故障转移
  1. 关掉所有正在使用的主image客户端
  2. 将主集群的主image降级
  3. 将backup集群的主image升级
  4. 重新让客户端连接新的主image
• 非正常关机故障转移
  1. 确认主集群异常无法进行正常操作
  2. 停止所有使用主image的客户端
  3. 将backup集群的非主状态的image升级为主image，需要使用–force选项
  4. 重新让客户端连接新的主image

1. 主集群恢复以后，先将主集群上的旧的主image降级
2. 重新同步image，将备份集群的主image往主集群的降级的image上同步
   1. rbd mirror image resync <pool-name>/<image-name> --cluster ceph
3. 确认同步完成
4. 将备份集群上的image降级
5. 将主集群上的image升级

• 生成用于网关验证的cephx用户
  • ceph auth get-or-create client.rgw.servera mon 'allow rwx' osd 'allow rwx' -o /etc/ceph/ceph.client.rgw.servera.keyring

• 修改ceph.conf配置文件

  • [client.rgw.servera]
  • host = servera
  • keyring = /etc/ceph/ceph.client.rgw.servera.keyring
  • rgw_frontends = civetweb
  • port=80

• 安装ceph-radosgw

  • yum install -y ceph-radosgw
• 启动ceph-radosgw
  • systemctl restart ceph-radosgw@rgw.servera

• radosgw-admin user create --uid=john --display-name="John Doe" --email=john@example.com --access-key=12345 --secret=67890
  • --uid 指定用户名
  • --display-name 指定备注名
  • --email 指定邮箱
  • --access-key 指定access key，如果不指定，会自动生成
  • --secret 指定secret key如果不指定，会自动生成
  • 当radosgw-admin自动生成密钥时，有时会在access key和secretkey中包含josn转义符”\”。在使用的时候，不能包含这个字符

• 修改用户：
  • radosgw-admin user modify --uid=uid --display-name="John E. Doe" --max-buckets=2000
• 禁用用户：
  • radosgw-admin user suspend --uid=uid
• 启用用户：
  • radosgw-admin user enable --uid=uid
• 删除用户：
  • radosgw-admin user rm --uid=uid [--purge-data] [--purge-keys]
• 列出当前所有用户：
  • radosgw-admin user list
• 查看指定用户的详细信息：
  • radosgw-admin user info --uid=uid

• 创建一个用户的key
  • radosgw-admin key create --uid=uid --key-type=s3 [--access-key=key] [--secret=secret]
• 删除一个用户的key
  • radosgw-admin key rm --uid=uid --access-key=key
• 在创建密钥时，可以通过–gen-access-key和–gen-secret来生成随机的access key和secret key

• 基于用户的配额
  • radosgw-admin quota set --quota-scope=user --uid=uid [--max-objects=number] [--max-size=sizeinbytes]
• 基于bucket的配额
  • radosgw-admin quota set --quota-scope=bucket --uid=uid [--max-objects=number] [--max-size=sizeinbytes]
• 启用配额
  • radosgw-admin quota enable --quota-scope=[user|bucket] --uid=uid
• 禁用配额
  • radosgw-admin quota disable --quota-scope=[user|bucket] --uid=uid
• 取消配额
  • radosgw-admin quota set --uid=marry --quota-scope=bucket --max-objects=-1 --max-size=-1

• 创建bucket
  • s3cmd mb s3://demobucket
• 上传文件至bucket
  • s3cmd put --acl-public /tmp/demoobject s3://demobucket/demoobject
• 获取文件
  • s3cmd get s3://demobucket/demoobject ./demoobject
  • curl http://demobucket.servera/demoobject
  • curl http://servera/test/demoobject

• 列出bucket
  • radosgw-admin bucket list
• 删除bucket
  • radosgw-admin bucket rm --bucket=bucket
• 查看bucket信息
  • radosgw-admin bucket stats --bucket=bucket
• 检查bucket
  • radosgw-admin bucket check --bucket=bucket

• 修改子用户
  • rados-admin subuser modify --subuser=uid:subuserid --access=full
• 删除子用户
  • radosgw-admin subuser rm --subuser=uid:subuserid [--purge-data] [--purge-keys]
• 修改子用户密钥
  • radosgw-admin key create --subuser=uid:subuserid --key-type=swift [--access-key=key] [--secret=secret]
• 删除子用户密钥
  • radosgw-admin key rm --subuser=uid:subuserid

• 安装swift客户端
  • yum install -y python-swiftclient
• 创建一个容器
  • swift -V 1.0 -A http://servera/auth -U john:swift -K secret post container
• 向容器中上传一个文件
  • swift -A http://servera/auth/v1.0 -U john:swift -K secret upload container file
• 列出容器中的文件
  • swift -A http://servera/auth/v1.0 -U john:swift -K secret list [container]
• 查看容器状态
  • swift -A http://servera/auth/v1.0 -U john:swift -K secret stat

• Master区域配置（在servera上配置）
  • 创建realm
    • radosgw-admin realm create --rgw-realm movies --default
  • 创建zonegroup
    • radosgw-admin zonegroup create --rgw-realm movies --rgw-zonegroup us --master --default
  • 创建zone
    • radosgw-admin zone create --rgw-zonegroup us --rgw-zone us-east --endpoints http://servera --default
  • 创建用户绑定zone
    • radosgw-admin user create --uid syncuser --display-name "sync user" --system
    • radosgw-admin zone modify --rgw-zonegroup us --rgw-zone us-east --access-key access-key --secret secret
  • 更新period
    • radosgw-admin period update --commit
  • 更新RGW配置文件

    [client.rgw.servera]rgw_zone = us-east

  • 启动RGW
    • systemctl restart ceph-radosgw@rgw.servera
  • 测试
    • radosgw-admin user create --uid yutian --display-name 'yutian'
    • radosgw-admin subuser create --uid yutian --subuser yutian:swift --access=full
    • swift -A http://servera/auth/v1.0 -U yutian:swift -K secret-key post testbucket
    • swift -A http://servera/auth/v1.0 -U yutian:swift -K secret-key upload testbucket /etc/hosts
• Secondary区域配置（在serverf上配置）
  • 拉取realm
    • radosgw-admin realm pull --url http://servera --access-key access-key --secret secret-key # 主区域中syncuser的key
  • 拉取period
    • radosgw-admin period pull --url http://servera --access-key access-key --secret secret-key
  • 创建 Secondary Zone
    • radosgw-admin zone create --rgw-zonegroup us --rgw-zone us-west --access-key access-key --secret secret-key --endpoints http://serverf [--read-only] --default
  • 更新rgw配置文件

    [client.rgw.serverf]rgw_zone = us-west

  • 更新period
    • radosgw-admin period update --commit
  • 启动RGW
    • systemctl restart ceph-radosgw@rgw.serverf
  • 检查同步状态
    • radosgw-admin sync status

• 查看同步状态
  • radosgw-admin sync status
• 变更metadata master zone（需要在元数据完全同步完成之后才能进行变更操作，否则可能会丢失数据）：
  • radosgw-admin zone modify --rgw-zonegroup us --rgw-zone us-east --master
  • radosgw-admin period update --commit

• CephFS文件系统需要两个存储池，一个用于存储CephFS数据，一个用于存储CephFS元数据
  • ceph osd pool create cephfs_metadata 64 64
  • ceph osd pool create cephfs_data 128 128
  • ceph fs new cephfs cephfs_metadata cephfs_data
  • 如果使用ceph-ansible部署mds，则以上文件系统和存储池会被默认创建
  • ceph fs status cephfs

• 创建bucket
  • ceph osd crush add-bucket <name> <type>
• 示例：
  • ceph osd crush add-bucket DC1 datacenter
  • ceph osd crush add-bucket rackA1 rack
  • ceph osd crush add-bucket rackB1 rack
• 将bucket整理到层次结构中
  • ceph osd move <name> type=<parent>
• 示例：
  • ceph osd crush move rackA1 datacenter=DC1
  • ceph osd crush move rackB1 datacenter=DC1
  • ceph osd crush move DC1 root=default
• 设置osd的位置
  • ceph osd add osd.0 0.01500 root=default host=serverf

• 添加规则
  • ceph osd crush rule create-replicated <rulename> <root> <failure-domain-type> [class]
    • rulename：规则名称
    • root：CRUSH map层次结构的起始节点
    • failure-domain-type：故障域
    • class：要使用的设备类型，如ssd或者hdd，此参数可选
    • 示例：
      • ceph osd crush rule create-replicated inDC2 DC2 rack
• 查看规则
  • ceph osd crush rule ls
  • ceph osd crush rule dump <rule name>
• 应用规则
  • 创建一个新池，直接应用新的规则
    • ceph osd pool create myfirstpool 50 50 inDC2
• 修改一个池的规则到新的规则
  • ceph osd pool set rbd crush_ruleset 1

# ceph osd erasure-code-profile set myprofile k=3 m=2 crush-root=DC2 crush-# failure-domain=rack crush-device-class=ssd# ceph osd pool create myecpool 50 50 erasure myprofile# ceph osd crush rule ls

• ceph mon dump
• ceph osd dump
• ceph osd crush dump
• ceph pg dump all
• ceph fs dump
• ceph mgr dump
• ceph service dump

• 集群状态：
  • HEALTH_OK
  • HEALTH_WARN
  • HEALTH_ERR
• 常用查询状态指令：
  • ceph health detail
  • ceph -s
  • ceph -w

• 只能对整个集群操作，不能针对单个osd

• 语法

  • ceph osd set <flag>
  • ceph osd unset <flag>

• 示例：

  • ceph osd set nodown
  • ceph osd unset nodown
  • ceph -s

• OSD运行状态
  • up
  • down
  • out
  • in
• OSD容量状态
  • nearfull
  • full
• 常用指令
  • ceph osd stat # 显示OSD状态
  • ceph osd df # 报告osd使用量
  • ceph osd find #查找指定osd位置

• 当集群容量达到mon_osd_nearfull_ratio的值时，集群会进入HEALTH_WARN状态。这是为了在达到full_ratio之前，提醒添加OSD。默认设置为0.85，即85%

• 当集群容量达到mon_osd_full_ratio的值时，集群将停止写入，但允许读取。集群会进入到HEALTH_ERR状态。默认为0.95，即95%。这是为了防止当一个或多个OSD故障时仍留有余地能恢复数据

• 设置方法：

  • ceph osd set-full-ratio 0.95
  • ceph osd set-nearfull-ratio 0.85
  • ceph osd dump

• 可以通过手动修改osd的权重以提升 特定OSD被选为PG Primary OSD的概率，避免将速度慢的磁盘用作primary osd
• 需要先在配置文件中配置如下参数：
  • mon_osd_allow_primary_affinity = true
• 调整权重示例：
  1. 查看现在有多少PG的主OSD是osd.0
     1. ceph pg dump |grep active+clean |egrep "\[0," |wc -l
  2. 修改osd.0的权重
     1. ceph osd primary-affinity osd.0 0 # 权重范围从0.0到1.0
  3. 再次查看现在有多少PG的主OSD是osd.0
     1. ceph pg dump |grep active+clean |egrep "\[0," |wc -l

• 使用tuned-admin工具，它可帮助系统管理员针对不同的工作负载进行系统调优
  • tuned-adm list # 列出现有可用的profile
  • tuned-adm active # 查看当前生效的profile
  • tuned-adm profile profile-name # 使用指定的profile
  • tuned-adm off # 禁用所有的profile
• tuned-admin使用的profile默认存放在/usr/lib/tuned/<profile-name>目录中，可以参考其模板来自定义profile
• 对于ceph而言，network-latency可以改进全局系统延迟，network-throughput可以改进全局系统吞吐量

• noop：电梯算法，实现了一个简单的FIFO队列。基于SSD的磁盘，推荐使用这种调度方式
• Deadline：截止时间调度算法，尽力为请求提供有保障的延迟。对于Ceph，基于sata或者sas的驱动器，应该首选这种调度方式
• cfq：完全公平队列，适合有许多进程同时读取和写入大小不等的请求的磁盘，也是默认的通用调度算法
• 查看当前系统支持的调度算法：
  • dmesg|grep -I scheduler
• 查看指定磁盘使用的调度算法：
  • cat /sys/block/vdb/queue/scheduler
• 修改调度算法
  • echo "deadline" > /sys/block/vdb/queue/scheduler
  • # vim /etc/default/grub
GRUB_CMDLINE_LINUX="elevator=deadline numa=off"

• 通常，计算一个池中应该有多少个归置组的计算方法如下：
  • 100 * OSDs / size(副本数)
• 一种比较通用的取值规则：
  • 少于5个OSD时可把pg_num设置为128
  • OSD数量在5到10个时，可把pg_num设置为512
  • OSD数量在10到50个时，可把pg_num设置为4096
  • OSD数量大于50时，建议自行计算
• 自行计算pg_num聚会时的工具
  • pgcalc：https://ceph.com/pgcalc/
  • cephpgc：https://access.redhat.com/labs/cephpgc/

• rados bench -p <pool_name> <seconds> <write|seq|rand> -b <block size> -t --no-cleanup
  • pool_name 测试所针对的池
  • seconds 测试所持续的时间，以秒为单位
  • <write|seq|rand> 操作模式，分别是写、顺序读、随机读
  • -b <block_size> 块大小，默认是4M
  • -t 读/写的并行数，默认为16
  • –no-cleanup` 表示测试完成后不删除测试用的数据。在做读测试之前，需要使用该参数来运行一遍写测试来产生测试数据，在全部测试完成以后，可以行rados -p <pool_name> cleanup来清理所有测试数据
• 示例：
  • rados bench -p rbd 10 write --no-cleanup
  • rados bench -p rbd 10 seq

• rbd bench -p <pool_name> <image_name> --io-type <write|read> --io-size <size> --io-threads <num> --io-total <size> --io-pattern <seq|rand>
  • --io-type 测试类型，读/写
  • --io-size 字节数，默认4096
  • --io-threads 线程数，默认16
  • --io-total 读/写的总大小，默认1GB
  • --io-pattern 读/写的方式，顺序还是随机
• 示例：
  • https://edenmal.moe/post/2017/Ceph-rbd-bench-Commands/

• dd
  • echo 3 > /proc/sys/vm/drop_caches
  • dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/test.img bs=4M count=1024 oflag=direct
  • dd if=/var/lib/ceph/osd/ceph-0/test.img of=/dev/null bs=4M count=1024 oflag=direct
• fio
  • https://help.aliyun.com/document_detail/95501.html?spm=a2c4g.11174283.6.640.6e904da23dhdcG

• 清理：检查对象的存在性、校验和以及大小
• 深度清理：检查对象的存在性和大小，重新计算并验证对象的校验和。
• 清理会影响ceph集群性能，但建议不要禁用此功能，因为它能提供完数据的完整性
• 清理的调优参数：
  • osd_scrub_begin_hour = begin_hour# 取值范围0-24
  • osd_scrub_end_hour = end_hour # 取值范围0-24
  • osd_scrub_load_threshold # 当系统负载低于多少的时候可以清理，默认为0.5
  • osd_scrub_min_interval# 多久清理一次，默认是一天一次（前提是系统负载低于上一个参数的设定）
  • osd_scrub_interval_randomize_ratio # 在清理的时候，随机延迟的值，默认是0.5
  • osd_scrub_max_interval # 清理的最大间隔时间，默认是一周（如果一周内没清理过，这次就必须清理，不管负载是多少）
  • osd_scrub_priority# 清理的优先级，默认是5
  • osd_deep_scrub_interal # 深度清理的时间间隔，默认是一周
  • osd_scrub_sleep # 当有磁盘读取时，则暂停清理，增加此值可减缓清理的速度以降低对客户端的影响，默认为0,范围0-1

• 显示最近发生的清理和深度清理
  • ceph pg dump all # 查看LAST_SCRUB和LAST_DEEP_SCRUB
• 将清理调度到特定的pg
  • ceph pg scrub pg-id
• 将深度清理调度到特定的pg
  • ceph pg deep-scrub pg-id
• 为设定的池设定清理参数
  • ceph osd pool set <pool-name> <parameter> <value>
  • noscrub # 不清理，默认为false
  • nodeep-scrub# 不深度清理，默认为false
  • scrub_min_interval # 如果设置为0，则应用全局配置osd_scrub_min_interval
  • scrub_max_interval # 如果设置为0，则应用全局配置osd_scrub_max_interval
  • deep_scrub_interval # 如果设置为0，则应用全局配置osd_scrub_interval

• 需要控制回填和恢复操作，以限制这些操作对ceph性能的影响
• 回填发生于新的osd加入集群时，或者osd死机并且ceph将其pg分配到其他osd时。在这种场景中，ceph必须要在可用的osd之间复制对象副本
• 恢复发生于新的osd已有数据时，如出现短暂停机。在这种情形下，ceph会简单的重放pg日志
• 管理回填和恢复操作的配置项
  • osd_max_backfills # 用于限制每个osd上用于回填的并发操作数，默认为10
  • osd_recovery_max_active # 用于限制每个osd上用于恢复的并发操作数，默认为0，以使用osd_recovery_max_active_hdd或者osd_recovery_max_active_ssd默认值，前者为3，后者为10
  • osd_recovery_op_priority # 恢复操作的优先级，默认为10