BCache + MDADM运行极慢

Question

我有3x14TB的东芝驱动器mdadm-ed (/dev/md0) raid 5'd一起设置为一个bcache。我有一个256 as的快速SSD作为bache的前端。

在bcache上启用了回写。

几天后，设备(/dev/bcache0)变得非常慢。我是说，大概是正常速度的1000度。

我的两个问题是：

• 对于/dev/md0 0，我应该对那些东芝驱动器做什么调优？它是4k块64k块。
• 我能做什么bcache调优吗？

我甚至不确定我该在这里放什么其他信息。但如果你问我会更新这篇文章。谢谢!

更新1-我的IOSTAT同时读取100 3mb/秒，只有3MB/秒的写入：https://pastebin.com/wKKf4LTq

这台计算机是一个amd 2990 w/32 is内存。CPU不是问题所在。

从2010年开始，我的旧的3770 K的读写速度会比这个好得多。它必须是某种设置或调整。谢谢!

更新2-当系统正常运行时，下面是hdparm输出。当不正常运行时，hdparm需要很长时间才能运行。

/dev/md0:
 Timing cached reads:   11148 MB in  2.00 seconds = 5578.33 MB/sec
 Timing buffered disk reads: 1372 MB in  3.00 seconds = 456.84 MB/sec
/dev/bcache0:
 Timing cached reads:   12564 MB in  2.00 seconds = 6286.57 MB/sec
 Timing buffered disk reads: 1226 MB in  3.00 seconds = 408.66 MB/sec

谢谢!

Answer 1

有了三星的TLC内存，我会坚持512 K桶大小。这将与每3个桶的页面大小对齐(通常与之相反，但对于1.5MB与任何桶大小=2^n，没有正确的对齐方法)。使用扇区大小为4k。顺便说一句:假设三星TLC使用1.5MB页面大小，但这在某个地方并没有正式记录下来。但是512 k仍然是2MB页面大小的安全值，因为它每4个桶对齐一次。

另外，请将您的数据偏移量与您的RAID5设置对齐。bcache文档给出了一些提示。做对是很重要的。就我个人而言，我还没有尝试过这样的设置，但我想[sysfs]/bdev*/partial_stripes_expensive在RAID-5中可能也很有趣。

我还猜想，当缓存被填充时，就会出现减速。您应该禁用缓存丢弃，因为固件错误，它是许多驱动器的同步操作。相反，删除bcache cdev，修剪整个分区，然后将分区大小调整到原来大小的80-90%，将其对齐到2MB边界，并重新创建bcache。然后，永远不要触摸这个自由的分区空间，它允许驱动器做背景磨损平整，丢弃不再需要那时。您可以创建一个保护分区来保留这个空间，这也使得修剪保留的空间变得很容易。

若要重新创建缓存设备，请通过sysfs将其从备份设备中分离出来，等待完成，然后取消注册，按照正确重新创建它的步骤，然后将备份设备附加回新的缓存。所有这些都可以在线完成，而无需重新启动。但如果你对此不满意，那就先做备份。

Answer 2

这还得建立或重新编制索引之类的。从没有地方，它开始跑得很快。

所以其他有这个问题的人，看看你的状态。如果它在做什么，那可能就是原因。此外，默认情况下，它会在每个月的第一个星期日重新索引。