关于ceph的qos

Ceph，作为一个高度可扩展的分布式存储系统，已经成为云计算和大数据时代的关键基石。随着企业和组织对数据存储的需求日益增长，Ceph 通过其强大的特性，如可靠性、伸缩性和性能，满足了这些需求。然而，随着集群规模的扩大和工作负载的多样性，如何确保资源的有效分配和性能隔离成为了一个重要议题。在这个背景下，Ceph 的 Quality of Service (QoS) 功能显得尤为重要。

QoS 在 Ceph 中的实现，特别是在其 RADOS Block Device (RBD) 模块中，提供了一种机制来控制和限制存储资源的使用，如 IOPS（每秒输入输出操作次数）和带宽。这对于在多租户环境中维持服务质量，防止资源过度使用或“邻居噪音”问题至关重要。通过精确地配置 QoS 参数，管理员可以为不同的虚拟机、容器或应用分配适当的存储资源，确保系统的整体性能和响应性。 

在本文中，我们将深入探讨 Ceph RBD 的 QoS 特性，重点关注如何验证和量化 RBD QoS 设置的效果。通过一系列的测试和分析，我们将展示 QoS 参数如何影响 RBD 性能，以及如何根据特定的工作负载和性能要求调整这些参数。无论是对于 Ceph 新手还是资深用户，了解和应用 RBD 的 QoS 功能都是提高存储系统效率和可靠性的关键步骤。

测试环境

• 操作系统：ubuntu 20.04
• 内核：5.4.0-163-generic
• CPU / 内存：32C / 128G
• 硬盘：10T
• ceph：17.2.5 quincy (stable)

测试流程

• 拉起一个使用ceph rbd存储的虚拟机
• 使用fio测试无限速情况下iops和bps
• 开启 image qos iops限速 测试rbd的iops
• 开启 image qos bps限速 测试rbd的bps
• 开启 pool qos iops限速 测试rbd的iops
• 开启 pool qos bps限速 测试rbd的bps
• 测试qemu对块设备进行bps限速
• 测试qemu对块设备进行iops限速
• 删除qos再次进行测试，验证已经恢复

测试步骤

在ceph 14版本开始支持rbd的qos 详细配置参数可以参考https://docs.ceph.com/en/latest/rbd/rbd-config-ref/

图片

ceph rbd的qos是在librbd上进行限制的。

查看当前镜像的qos配置

rbd -p libvirt-pool config image ls scan.img|grep qos