使用QLC SSD作为RAIDZ (科学档案)？

Question

我们正在建立一个对一些天气数据进行存档和科学分析的系统。

设置是多余的，有两个HP DL580、Proxmox (ZoL)和一些GPU进行分析。在每个服务器上，我们计划了大约50 TB的5个池。由于密度和读取速度的原因，我们使用SSD。在过去的两年里，我们一直在与HPE阅读密集型SSD合作。我们正在考虑对下一个存档池进行以下更改：

• 使用HPE QLC“非常读取优化”SSD。它们减少了DWPD，特别是随机写入。
• 从条纹镜移动到raidZ2 (8x7.68TB)

数据保存为文件(25%)和数据库(InnoDB，75%)，显然只写了一次。

是raidZ2 - QLC SSDs的组合，对于这类存档?

来说是合理的。

在QLC SSD耐力方面是否存在ZFS特有的良好实践或缺陷?

编辑:在条纹镜中当前TLC SSD的示例智能TLC输出

Copyright (*C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org  
=== START OF INFORMATION SECTION ===  
Device Model:     VK007680GWSXN  
Serial Number:      
LU WWN Device Id: 5 00a075 1266adce4  
Firmware Version: HPG2  
User Capacity:    7,681,501,126,656 bytes [7.68 TB]  
Sector Sizes:     512 bytes logical, 4096 bytes physical  
Rotation Rate:    Solid State Device  
Form Factor:      2.5 inches  
Device is:        Not in smartctl database [for details use: -P showall]  
ATA Version is:   ACS-3 T13/2161-D revision 5  
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)  
Local Time is:    Mon Sep 21 21:11:42 2020 CEST  
SMART support is: Available - device has SMART capability.  
SMART support is: Enabled  
=== START OF READ SMART DATA SECTION ===  
SMART overall-health self-assessment test result: PASSED  
General SMART Values:  
Offline data collection status:  (0x00) Offline data collection activity
                    was never started.  
                    Auto Offline Data Collection: Disabled.  
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.  
Total time to complete Offline   
data collection:        (26790) seconds.  
Offline data collection
capabilities:            (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   2) minutes.
Extended self-test routine
recommended polling time:    (  45) minutes.
Conveyance self-test routine
recommended polling time:    (   3) minutes.
SCT capabilities:          (0x0035) SCT Status supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   100   100   050    Pre-fail  Always       -       0  
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0  
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       4514  
 11 Unknown_SSD_Attribute   0x0012   100   100   000    Old_age   Always       -       5  
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       6  
171 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0  
172 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0  
173 Unknown_Attribute       0x0033   100   100   010    Pre-fail  Always       -       26  
174 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       5  
175 Program_Fail_Count_Chip 0x0033   100   100   001    Pre-fail  Always       -       0  
180 Unused_Rsvd_Blk_Cnt_Tot 0x003b   100   100   001    Pre-fail  Always       -       0  
184 End-to-End_Error        0x0032   100   100   000    Old_age   Always       -       0  
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0  
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       7  
194 Temperature_Celsius     0x0022   067   057   000    Old_age   Always       -       33 (Min/Max 22/43)  
196 Reallocated_Event_Count 0x0033   100   100   001    Pre-fail  Always       -       0  
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0  
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0  
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0  
SMART Error Log not supported  
SMART Self-test Log not supported  
SMART Selective self-test log data structure revision number 1  
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS  
    1        0        0  Not_testing  
    2        0        0  Not_testing  
    3        0        0  Not_testing  
    4        0        0  Not_testing  
    5        0        0  Not_testing  
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.*

Answer 1

我们已经实施了解决办法。QLC驱动器似乎对我们的使用是好的。

然而，RAIDZ2被证明是不切实际的：

将ashift=12与16K记录大小(我们的DB的适当记录大小)结合在一起，将导致在平价上付出很高的代价。

使用RAIDZ2，我们为16K实际数据编写了两个4K奇偶校验块。三分之一的存储被用于平价。因此，我们又回到了条纹镜上。

Answer 2

由于惠普的驱动器如何报告他们的智能信息，提供的数据并不是非常有用。也就是说，属性173应该是NAND块最坏的擦除计数(即磨损)。只有26个最大擦除周期后6个月，你的SSD应该是好的3000 / 26 /2=57.7年。

这显然是夸大其词，在此之前，您将需要替换服务器中的其他内容(甚至是由于意外的控制器/NAND故障而导致的SSD本身)。然而，这是一个很好的起点来评估QLC企业的SSD:即使有1/10的耐力，您也将在5年的服务时间内--与他们的保修期相同。

此外，企业QLC驱动器一般有额定NAND芯片在1000周期，所以现实世界的耐力应该大大高于上面报告的5年。

此外，根据您的问题和评论，这些SSD将将大部分时间用于只读工作负载，使用QLC驱动器不应构成任何问题，除非QLC驱动器的较慢写入速度对您的工作负载有任何重要意义，或者您计划将您的服务器长期断电。

关于RAIDZ2，SSD可能是一个很好的选择，但是一定要使用ashift=12创建池，并设置一个相当小的recordsize属性(我强烈建议使用16K而不是默认的128 K值)。