金钱鳘又称黄唇鱼，目前已经接近濒危灭绝的状态。
赴日游客越来越多，国内游客成为黑心商家的肥肉。
声明：本文由入驻搜狐公众平台的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
　　点击&戴尔企业级解决方案&快速订阅
　　???“存储极客”栏目再次与大家见面啦！在这里，只有一位大咖名叫“存储”，它的粉丝我们称为“存储极客”！
　　存储极客
　　这是一群存储偏执狂
　　为存储而生，跟存储死磕
　　各具独家秘笈
　　有观点，有碰撞，有干货
　　做客存储极客栏目
　　与你分享存储里的那点事儿
　　我曾经不只一次看到有朋友提出以下问题：
　　1. SSD做RAID性能如何，RAID卡会成为瓶颈吗？
　　2. SAS/SATA SSD做RAID，与PCIe/NVMe Flash相比，哪个性能好？
　　3. SAS SSD是否比SATA SSD性能好，用在服务器上有无必要？
　　4. SSD做哪种RAID级别最合适，R5/10性能损失是否比HDD更大？
　　5. RAID卡与SAS HBA（或RAID卡直通模式）相比，性能差多少？
　　最近看到一份比较全的测试资料，包括RAID和Non-RAID (Pass-Thru)模式、6Gbps SATA SSD（最多12个）和12Gbps SAS SSD（最多8个）的全面性能水平。比较有参考价值。
　　免责声明：测试平台为戴尔13G服务器和Dell PowerEdge RAID Controller (PERC9) H730p，它使用了LSI 12Gb/s SAS RoC，应该可以代表现在主流的RAID卡。由于测试时间原因，固件和驱动版本都不是最新的，具体的SSD型号我也不注明了，希望不要将这些数字用于竞争性对比，那样就违背了我分享的初衷。
　　NVMe来了，SATA、SAS SSD仍将共存很长一段时间
　　H730P RAID IOPS
　　(6Gbps SATA SSDs) 随机读写
　　RAID 0在绝大多数生产环境中都不推荐，在这里列出主要是作为和RAID 1/5的对比，并了解一下RAID卡处理能力的限制。同样 512byte数据块大小也只是为了看看极限。
　　根据上方图表，SATA SSD单盘RAID 0的512B和4KB随机读性能在5-10万IOPS之间，增加SSD个数到2、4、8基本上能获得线性提升，达到 40-45万IOPS。进一步加到12个SSD变化则不明显，除非数据块增大到8KB或者更高。35万IOPS@8KB时的带宽已经达到2800MB/s。
　　RAID 5随机读的表现与RAID 0相当接近，这一点和传统机械硬盘相一致。
　　使用SATA SSD的RAID 10测试成绩，是本次分享中“稍有些不正常”的，这个可能与当时的Firmware版本和具体使用的SSD有关。简单说就是4块盘的表现和2块盘差不多，而12块盘则接近甚至超过了50万IOPS，比RAID 0和5的表现更好。
　　RAID 0随机写没有前面性能高，主要是 SSD闪存盘自身的写就比读要慢。我们注意到单盘大约在3万IOPS左右，那么8块盘超过20万，12块盘超过30万也是个正常的表现。
　　为了避免写缓存带来的干扰，测试采用 Write-Through的策略。我们知道 RAID 5每一次改写操作都会产生2次读和2次写I/O，也就是通常说的 写惩罚为4。随机写之所以性能差，就是因为离散的操作不能在Cache中合并形成整条带I/O。
　　如上方图表，SATA SSD RAID 5随机写在4、8块盘时， 性能比RAID 0的1/4要低一些，但也在可以接受的范围内。而12块盘在数据块较小时却无法获得理想的提升，考虑到Rebuild性能和第二块盘故障的风险，我给出如下建议：
　　1. 多数情况下不建议SSD做RAID 6（这里指传统RAID卡），因为性能损失太大；同样也影响写寿命，得不偿失。
　　2. RAID 5建议不超过8-9（8+1）块盘，也是在大多数情况下。
　　扩展阅读
　　在《》一文中，我们简单介绍过不同RAID级别对SSD写寿命的影响；
　　在《 》一文中，提到了“传统RAID组中磁盘数量越多，Rebuild时要读取的数据量也是成正比的… 在RAID卡固定条带大小的情况下，参与硬盘数量越多Rebuild速度也会越慢。”
　　SATA SSD RAID 10随机写在不超过8块盘时，基本达到了RAID 0 IOPS的一半；12块盘在512B和4KB数据块无法获得明显提升（原因在后面有对比分析）。由于RAID 10也存在第二块盘故障的风险，因此可以参考上面的建议。
　　H730P Pass-Thru IOPS
　　(6Gbps SATA SSDs) 随机读写
　　1块SSD性能的差别， 直通（即SAS HBA模式）与RAID相差不大；而在8块盘以内，上图表中的随机读就是与SSD数量完全成正比提高。12块盘虽然无法保持这个趋势，但 512B和4KB的IOPS依然达到了70万和55万，继续往后看您会发现此时RAID/HBA卡还没有到达瓶颈。
　　直通模式下一个SSD随机写的性能依然在3万IOPS左右，2/4/8块盘也还是理想的线性提升。而12块盘在512B接近60万IOPS的性能有些不正常，猜测是个别测试子项未达到SSD的稳态？
　　H730P RAID IOPS
　　(12Gbps SAS SSDs) 随机读写
　　接下来看SAS SSD的测试结果。上面图表中的RAID 0随机读， 单盘4KB、8KB数据块分别达到了15万和10万IOPS，后者的带宽已经达到800MB/s，这一水平只有12Gb/s SAS接口能跑到，6Gb/s SATA是不可能的。
　　在50万IOPS以内，SSD数量增加带来的提升基本上是线性的。得益于这款SAS SSD的单盘性能， 4块RAID 0就能达到50万IOPS，再往上很快就遇到RAID卡的瓶颈了。而且12块与8块SSD的随机读已经拉不开差距。
　　小记：SAS与SATA SSD的性能
　　曾经有朋友和我讨论过SAS SSD是否比SATA更快？从接口角度主要是带宽不同，SAS除了有12Gb/s之外还有双端口，后者更多价值在于双控存储。
　　我们这里只讨论IOPS，比如有些低端企业级的SATA和SAS SSD，它们的闪存控制技术和NAND颗粒配置相差不大，因此性能上没有明显较大差别。而 若是性能较高的SSD，比如使用16-18通道控制器，则其随机访问产生的带宽也很可能超出SATA 600MB/s的接口限制，此时只有12Gb/s SAS才合理（注：PCIe/NVMe仅在本文结尾处用于对比）。这也是我基本没有看到过SATA SSD控制器超过8-10通道的原因。
　　再多透露一点，本文中测试配置的SATA和SAS SSD分别来自Intel和HGST，其实后者的ASIC控制器硬件以及闪存接口技术也是来自Intel，但是定位不同。
　　RAID 5随机读和RAID 0基本保持一致，这一点与SATA SSD差不多。
　　SAS SSD RAID 10随机读也不再有遗憾，性能结果与RAID 0非常接近。
　　再来看看随机写。首先单个SAS SSD大约在4万多IOPS@4KB，一直到8、12块RAID 0保持了比较高度的线性提升。
　　RAID 5随机写这一项，SAS SSD并没有表现出比SATA的明显优势， 45000 IOPS似乎是个瓶颈，也就是说距离上面RAID 0性能的1/4也差了不少。 这大概就是RAID卡最大的短板吧，传统RAID算法对SSD优化不够。
　　因此要看应用场景，像互联网 MySQL数据库一主多从中的Slave节点，SATA SSD RAID 5的效果还是不错的。
　　当数据块大小达到 8KB，8块SAS盘RAID 5随机写还比较正常，这样看用Oracle数据库单机也还可以？虽然按照传统思路OLTP推荐RAID 10，但是以这个IOPS水平 比本地HDD RAID还是远远胜出的。
　　RAID 10随机写的表现比RAID 5大约高出一倍，但是 最高性能似乎被限制在10万IOPS，所以还是不够理想。当然，在不超过8块SSD，数据块不小于8KB的情况下写惩罚的影响比较符合“2”。
　　总的来看，比SATA SSD更快的SAS SSD在随机写性能上遇到了RAID卡的瓶颈。尽管RAID 0不是这样，但实际有意义的还是RAID 5和10。
　　H730P Pass-Thru IOPS
　　(12Gbps SAS SSDs)
　　在 直通（Non-RAID）模式下，SAS SSD没有让我们失望，除了12块盘仍无法获得线性提升之外， 随机读跑到了单块HBA性能极限的100万IOPS。不知大家还记得我在《突破百万IOPS：blk-mq释放SCSI性能》一文中列出的下面这个图吗？
　　Linux下需要考虑内核&设备驱动的多队列支持，而本文中测试数字是在Widnwos Server 2008 R2下获得的， 看来Windows在这方面比较早做好了准备，这大概就是商业操作系统的好处吧。
　　之前我在《SPC-1 500万IOPS再引争议：请用技术事实说话》中有一段讨论过“Windows做存储真的那么差吗？”的话题，本文也算是增加了一点证据吧。
　　在没有RAID开销的情况下，随机写基本上就是SAS SSD本身性能的累积。
　　总结：
　　面对NVMe，SATA/SAS生命还有多强？
　　现在可以看下本文开头提出的几个问题是否有答案了，我们主要以服务器上的硬件RAID 5/10的4KB随机读写来评估。
　　1. SATA/SAS SSD RAID卡随机读IOPS可达3x-5x万IOPS的水平，具体与SSD单盘性能有关； RAID 5随机写测得3.x-4.x万IOPS，RAID 10随机写接近10万。看来 有些情况下RAID卡会成为瓶颈。
　　SATA/SAS SSD RAID个人建议配置不超过8-9个盘。
　　2. 下面我们用支持NVMe的Dell Express Flash PCIe SSD/闪存卡做下对比参照：
　　上图是“性能”系列，而下图为“混合用途”，二者的分类方法我们在《 》一文中曾有讨论，简单说就是写性能和寿命不同。
　　注：戴尔目前不自己制造服务器上闪存盘组件，这里列出的来自OEM合作伙伴，有的朋友可能看出了供应商是哪一家。
　　RAID之后的SATA/SAS SSD IOPS性能比单个NVMe/PCIe Flash仍有差距，特别是RAID 5随机写存在比较大的短板。
　　3. 在大多数场合，服务器上使用 SAS SSD做RAID的必要性不大，企业级SATA中也有表现不错的。
　　4. 尽管RAID 5的写IOPS只有RAID 10的一半不到，但由于 闪存成本等方面因素，我了解到 大多数人还是选择了RAID 5。而且 RAID 10还有镜像盘同时达到写寿命限制的风险，需要更重视磨损监控。 对随机写要求高的用户，还是别用传统RAID了。（写到这里我有点同情Ceph的感觉）
　　5. RAID卡直通/HBA模式的表现则要好得多，由于没有了RAID保护的开销，总 随机写性能全面超越单个PCIe Flash，毕竟是多块盘。高速SAS SSD在这种情况下可以更好地发挥。我能想到的应用模式，主要是 分布式存储（ServerSAN），当然多个PCIe Flash可能是更受青睐的一种选择。
　　最后我又想起一点，等支持NVMe的“硬”RAID卡出来，那时候再对比一下估计也是个挺有意思的事情。
　　相关文章导读
　　↓↓↓
　　点击 “阅读原文”了解更多戴尔未来就绪方案
欢迎举报抄袭、转载、暴力色情及含有欺诈和虚假信息的不良文章。
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
搜狐公众平台官方账号
生活时尚&搭配博主 /生活时尚自媒体 /时尚类书籍作者
搜狐网教育频道官方账号
全球最大华文占星网站-专业研究星座命理及测算服务机构
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格?云顿/乔?弗拉尼甘/Bianca Bree
主演：艾斯?库珀/ 查宁?塔图姆/ 乔纳?希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬初夜
客服热线：86-10-
客服邮箱：}