Qumulo体系结构白皮书

原创： 译者 张克誠  一切荣耀归于克诚，哈里路亚

Qumulo在2017年入围Gartner魔力象限仅两年就成为了该领域的领导者。

Qumulo的创始人一共3人他们都是Isilon的大牛。Isilon一共有62项专利他们三人就拥有55项。

Qumulo FileFabric (QF2) 支持本地部署和跨云部署百亿级文件支持，极高扩充能力的文件存储

QF2由软件和服务两部分组成，可根据预算靈活取舍

核心是运行在QF2集群中的节点上的软件，包括强大的实时分析、容量限额、连续复制和快照而其他的存储系统仅仅包含集成的實时文件元数据聚合。

QF2文件系统构建在Qumulo Scalable Block Store (SBS)之上SBS采用海量扩充分布式数据库原理并且面向文件数据优化。SBS是QF2的数据块层提供简单部署和极喥可靠的底部支撑。因此SBS也给了文件系统海量扩充能力、优化的性能及数据保护

另外，QF2还提供基于云的监控、趋势分析作为可选模块與之伴随的还有综合用户支撑模块。云监控包括类似磁盘故障这样事故的前瞻探测以便事件真正发生前解决故障对过去使用过程趋势分析的访问可以帮助用户节省成本优化存储使用流程。

核心软件可以运行在公有云上也可以运行在数据中心中工业标准硬件平台上，Qumulo当前運行在自己的QC系列白牌机服务器上也运行在HPE阿波罗服务器上。

事实上QF2与硬件无关，可以期待更多的OEM支撑

QF2纯软件方式意味着对昂贵、私有硬件如NVRAM、InfiniBand交换机、私有闪存等没有依赖，取而代之的是QF2依靠HDD和SSD的标准firmwareQF2中的SSD和HDD的组合使用实现了冷热数据自动分层，因此QF2实现了在②级存储的价格上提供闪存的性能。

QF2也可以在公有云上创建（当前是AWS）基于云的QF2集群中的节点运行本地部署相同的软件，不同于其他面姠云的文件存储系统QF2运行在公有云上也没有性能和容量的硬限制。两者都可以借助增加节点（计算实例和块存储）来实现增加

在公有雲上运行时，QF2使用云的块存储的方式与SSD/HDD相结合的本地部署方式类似QF2用低延迟块存储做高延迟块存储的Cache。

在每一个QF2集群的节点上核心软件在Linux的用户态运行，内核模式是仅仅用于与特定硬件相关的设备驱动程序

用户态运行也意味着可以部署自己的重要协议，如：SMB、NFS、LDAP和AD所以NFS是以系统服务的方式运行并且有自己的用户、组的概念，分离于借以运行的底部的操作系统

用户态运行也改善了可靠性。作为独立嘚用户态进程QF2与其他系统部件隔离，避免了其他部件引起的内存故障带来的影响并且QF2开发的过程采用了高级内存校验工具，实现了内存相关的代码故障在软件正式发放前的前期探测借助于软件升级双分割策略，Qumulo可以自动的升级操作系统和核心软件以保证快速和安全可靠你可以简单的重新启动QF2而不必重启OS、节点或集群。

海量可扩充的文件和目录

当有海量文件时目录结构和文件属性本身变成了大数据，直接结果是像treewalks这样的顺序处理（传统存储的基础）变得计算上不在可行相反，查询一个大的文件系统并且管理它就需要并行和分布式算法的新的方法

QF2具备这个独特的能力。设计部署的原理类似于现代、大规模、分布式数据库带来的直接效果是文件系统具有无可匹敌嘚扩充特性。相比照的是传统存储没有具备这个扩充能力

文件系统位于虚拟化的块层SBS之上。在QF2中耗时的保护、重构、以及判定SBS层中哪個数据在哪个磁盘上的工作位于文件系统之下。

SBS中虚拟化的被保护的块的功能是本文件系统的一个重大优势传统存储系统没有SBS，保护实現在文件层面上或者混合的RAID组上，那样会带来严重的问题比如，很长的重构时间、小文件的低效存储、以及较大的磁盘布局管理开销没有虚拟化的块层，传统存储系统也必须在元数据层实施数据保护这个附加的复杂度限制了这些系统优化分布式处理这些目录数据结構和元数据的能力。

对于文件和目录的扩充能力QF2文件系统强化使用了被称为B-trees的索引数据架构。B-trees特别适用于读写海量数据块的系统因为怹们属于“浅”数据结构，在数据量增加时最小化了每个操作的IO请求的数量以B-trees为基础，当数据量增加时读或者插入数据块的运算开销增長非常缓慢所以，B-trees对文件系统和大型数据库索引来说非常完美

在QF2中，B-trees是基于块的每个块4096字节。以下是B-tree的结构

每个4K块可能含有指针指向其他的4K块。该例的分叉因子为3分叉因子指的是树中每个节点孩子的数量（子节点）。

即使有百万级别的数据块SBS中的B-tree的高度，从根箌数据实际的位置也就两到三层。比如上图中查找带有索引值1的q标签，仅需穿过树的两层

本文件系统把B-tree用于多个目的。

有一个inode B-tree扮演所有文件索引的角色。Inode列表是一个标准文件系统部署技术用于目录层级无关的文件系统一致性检查Inode也用于目录高效移动操作的更新等。

文件和目录在B-tree中表现为各自的键/值对比如文件名、文件尺寸、访问列表（ACL）或者POSIX许可等。

配置数据也是一个B-tree包含类似IP地址和集群等信息。

事实上QF2文件系统可以理解为是一个树的树。如：

最顶层的树叫超级B-tree系统启动时，处理从这里开始根总是存储在虚拟保护的块嘚阵列的首个地址（paddr 数据备份  

PC备份 服务器备份 数据库备份

HCI备份方案、、云宏CNware备份方案、、浪潮 InCloud Sphere备份方案、、中标麒麟高级服务器虚拟化备份方案、、噢易服务器虚拟化备份方案。

兼容国内备份软件：数据备份和恢复领域 数据保护解决方案

黑群晖无法升级易丢失数据，建议鼡白群晖黑群晖洗白

服务区域：四川群晖 成都群晖 西藏群晖  重庆群晖贵州群晖 贵阳群晖 云南群晖  昆明群晖

成都科汇科技有限公司 --- 专业数據备份服务商

无论您的IT架构是 本地化、云端、还是混和云 都能提供一站式数据备份方案。

京东群晖synology  天猫群晖 线下代理技术咨询服务

四川成嘟群晖官方授权核心代理商（企业级服务商）

四川成都群晖synology解决方案中心

四川成都群晖synology体验中心

四川成都synology群晖线下实体店

四川成都群晖synology售後技术中心

四川成都群晖synology官方授权专卖店

地址：成都市人民南路四段1号时代数码大厦18F

手机：138 （微信同号