专家有料 | 浅谈分布式存储原理

所以在当前云时代背景下，分布式存储也在云场景中不断崛起，广泛用于云场景中。

就如同上题中所提到的，其实普通人吃馒头的速度肯定不如大胃王快。但是，由于馒头总数有100个之多，大胃王一个接一个地吃掉这些馒头用的时间，理论来说肯定比把馒头分给100个普通人同时吃，每个人吃一个馒头用的时间长。我们把这种吃馒头的模式称为分布式吃馒头，同理我们也把这种由多个普通计算服务器，通过某种系统串联构建起对外提供数据分布存储的方式，称为分布式存储。而大胃王的模式存储数据呢？就是传统的企业集中式存储了。

华为的FusionStorage系统在创建分布式存储的存储池时，系统会针对加入该存储池的各个存储服务器中的存储介质安装OSD模块。一般来说每一块存储介质或者说磁盘都会对应一个OSD模块，该OSD模块负责该磁盘的状态检测，接收VBS下发的数据，并存储于该磁盘中。通常存储池会生成对应的MDC模块（一个MDC最多管理两个存储池），首先将存储池托管给该MDC，MDC会生成一个哈希路由圆环，然后将圆环分为N（N=2^32）份分区，根据存储池内OSD的数量，对N份分区进行的均分，每一个OSD都可以分到对应的分区（切记，均分）。

你可以这样想象，哈希路由圆环就像一个很大的抽奖转盘（如下图四），由MDC生成，然后我们把这个抽奖转盘分为很多个小份区域，每一小份就是上文说的分区。接着我们可以根据OSD的数量，将这些小份区域均分给OSD。假设现在N为36份，且有12个OSD，则一共36个分区，12个OSD，将36个分区均分给12个OSD，每个OSD分到了3个分区。比如分区1-分区3为OSD1的所属分区，分区4-分区6为OSD2的所属分区，以此类推。

现在我们把MDC对应OSD数量生成的数据分布式规则交给VBS模块。VBS是安装在用户系统中的一个代理，当用户需要存放数据在分布式存储中时，VBS会先接收用户的数据，然后对用户数据进行切块分区（一般会把数据分成1MB大小的数据分片，例如一个1GB的视频文件需要存放在分布式存储中，则会被VBS接收后分割为1024个1MB大小的数据分片），接着对每个数据分片带有的SCSI标识进行格式转化，使之成为分布式存储系统使用的Key标识。然后对key进行哈希计算，算出每个数据分片的哈希值。

可以这样理解，其实每个数据在操作系统下发存储的时候都会带着一个介绍信（SCSI标识），操作系统告诉数据拿着这个介绍信去找大V哥开房间存放数据。分布式存储的VBS模块就是这个大V哥，当大V哥看到这个介绍信（SCSI标识）后就告诉数据，你的这个介绍信（SCSI标识）现在用不了了，必须重新登记一下，然后VBS就根据介绍信（SCSI标识）又开了一张票（Key）给数据，然后数据拿着这张票（Key）去找大V哥的小弟，小弟就根据票(key)来分配房卡（key带入哈希函数进行计算算出哈希值），开房间存放数据（如图五）。

数据被VBS接收后，最终数据会变成多个1MB的小数据分片，并且每一个1MB的小数据块都会带着最终的哈希值 。哈希值可以在0-2^32之间取整，很巧的是，MDC生成的哈希路由圆环也刚好是2^32份个分区，那么哈希值取整是多少，该1MB数据分片就归属于哪一个分区。由于MDC通过对应OSD和哈希路由圆环的分区生成了一个分区对应磁盘的关系（数据分布式规则），那么最终这个数据就存放在该分区对应的磁盘中，该磁盘的OSD会将数据持久化存放在磁盘介质中。（如图六）若上文假设中提到分区1-分区3对应OSD1，刚好现在有一个数据分片对应的哈希值取整后为3，则该1MB数据归属在分区3，分区3对应OSD1，则由OSD1将该1MB数据存放到该OSD对应的磁盘中，完成数据落盘。

通过以上内容，结合华为FusionStorage分布式存储系统给大家分析了分布式存储的存储原理，最后请大家思考另一个问题：

如果只有一个馒头或者极少的馒头，你们觉得大胃王和一百个普通人谁吃完这些馒头用的时间更短，效率更高呢？请结合思考分布式存储和传统集中式存储的应用场景区别分析。