强行重新协商PCI高速公路的连接速度？x2卡恢复到x1宽度

Question

为了避免兼容性和成本障碍使用带有较新的HP ProLiant Gen8服务器的SSD驱动器，我正在平台上验证基于PCIe的SSD。我一直在试验其他世界计算的一个有趣的产品，叫做Accelsior E2。

这是一个基本的设计；一个PCIe卡与一个Marvell 6 6 6Gbps控制器和两个SSD“刀片”连接到卡上。它们可以传递到软件RAID操作系统(例如ZFS)，也可以作为硬件RAID0条或RAID1镜像对加以利用。很漂亮。它只是将控制器和磁盘压缩成一个非常小的形式因子。

问题：

看看那个PCIe连接器。这是一个PCie x2接口。物理PCIe槽/车道尺寸通常是X1，x4，x8和x16，电气连接通常是x1、x4、x8和x16。这很好。我以前在服务器上使用过x1卡。

我开始在引导系统上测试这张卡的性能，发现不管服务器/时隙/BIOS配置如何，读写速度都会达到410 MB/s。正在使用的服务器是HP ProLiant G6、G7和Gen8 (Nehalem、Westmere和Sandy )系统，其中有x4和x8 PCIe插槽。查看卡的BIOS显示，设备协商：PCIe 2.0 5.0Gbps x1 -所以它只使用一个PCIe通道，而不是两个，因此只有一半的广告带宽是可用的。

有没有办法强迫PCIe设备以不同的速度运行？

我的研究表明PCIe x2有点古怪的车道宽度.PCI标准显然不需要与x2车道宽度兼容.，所以我猜我的服务器上的控制器会退回到x1.我有什么追索权吗？

缩写lspci -vvv输出。注意LnkSta和LnkCap行之间的差异。

05:00.0 SATA controller: Marvell Technology Group Ltd. Device 9230 (rev 10) (prog-if 01 [AHCI 1.0])
        Subsystem: Marvell Technology Group Ltd. Device 9230
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
                DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x2, ASPM L0s L1, Latency L0 <512ns, L1 <64us
                        ClockPM- Surprise- LLActRep- BwNot-
                LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
        Kernel driver in use: ahci
        Kernel modules: ahci

Answer 1

我在一个稍微不同的惠普平台上，2U HP ProLiant DL380p Gen8和1U DL360p Gen8上再次尝试了这一点。我使用这种硬件组合来接收适当结果。

当前的Gen8主机固件现在允许PCIe链接以适当的速度协商，因此这些设备与ProLiant DL380p Gen8服务器兼容。

Speed 5GT/s, Width x2, ASPM L0s L1, Latency L0 <512ns, L1 <64us
LnkSta: Speed 5GT/s, Width x2, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

Answer 2

这是OWS的官方答案，如果有可能迫使hp控制器将其提高到x2宽度，这将需要更多的研究。-)

Answer 3

我手头有一个IBM服务器，…中有一个Broadcom4×1GbE卡。谈判从2.0x4降至2.0x2：

0b:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet (rev 20) 
Subsystem: IBM Device 03a9 
Capabilities: [ac] Express (v2) Endpoint, MSI 00
LnkCap: Port #0, Speed 5GT/s, Width x4, ASPM L0s L1, Latency L0 <2us, L1 <2us 
LnkSta: Speed 5GT/s, Width x2, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

它有一个x4连接器，我猜只有当它被放入PCIe v1插槽时才能完全使用，所以在PCIe v2插槽中使用它似乎是在协商到x2 (因为5GT/s双向已经足够4×1 1GbE了)。

你的卡也会发生同样的事情吗？

(如果不是，我的回答是:使用IBM而不是HP :P)