这是我的问题:
我无法从 pci-e 桥后面的可预取端点设备获取 BAR 寻址。有人能帮我解决吗?
这是我到目前为止所做的事情:
1- 我可以在没有桥接的情况下获取可预取 pci-e 设备的地址。但我无法读取/写入此空间。
2- 我能够获取非预取 pci-e 设备的地址,无需桥接。我可以成功读取/写入此空间。
3-我无法获取桥后面单个可预取设备的地址。
4- 我能够获取桥后面多个非预取设备的地址。我还可以读取/写入它们。
5- 我无法获取桥后面一个可预取设备和一个不可预取设备的地址。在这个位置,我也无法获取可用于上述试验的不可预取设备。
我的怀疑是:
我已经使用两个不同的根复合体设备验证了这些测试以获得这些结果,两者都是内核版本 4.9,所以我很确定这个问题与内核有关。
提前感谢您的时间。
编辑:
当我使用 lspci 时,我可以获得上面使用过的所有设备的供应商 ID、设备 ID 和设备类型。当我说我无法获取 BAR 地址时,我只是指出虚拟内存映射未出现在 lspci -vv 输出中。
对于读写,我使用 memtool,这是一个可以读取和写入字节到给定内存的简单 C 程序。
与我提到的设备相关的需要出现在 /sys/bus/pci_express/devices 中的文件并没有出现在失败的情况下。
当我检查 dmesg 是否有任何相关消息时,相关消息如下:
[ 2.496007] pci 0000:03:00.0: [104c:b005] type 00 class 0x048000
[ 2.496065] pci 0000:03:00.0: reg 0x10: [mem 0x00000000-0x007fffff]
[ 2.496099] pci 0000:03:00.0: reg 0x14: [mem 0x00000000-0x007fffff pref]
[ 2.496268] pci 0000:03:00.0: Max Payload Size set to 128 (was 256, max 256)
[ 2.496605] iommu: Adding device 0000:03:00.0 to group 59
[ 2.496610] arm-smmu: forcing sodev map for 0000:03:00.0
[ 2.510188] pci 0000:03:00.0: BAR 0: no space for [mem size 0x00800000]
[ 2.510192] pci 0000:03:00.0: BAR 0: failed to assign [mem size 0x00800000]
[ 2.510196] pci 0000:03:00.0: BAR 1: no space for [mem size 0x00800000 pref]
[ 2.510200] pci 0000:03:00.0: BAR 1: failed to assign [mem size 0x00800000 pref]
[ 2.510942] pci 0000:03:00.0: Signaling PME through PCIe PME interrupt
[ 2.497054] pci 0000:04:00.0: [1172:e001] type 00 class 0xff0000
[ 2.497114] pci 0000:04:00.0: reg 0x10: [mem 0x00000000-0x03ffffff]
[ 2.497691] iommu: Adding device 0000:04:00.0 to group 60
[ 2.497696] arm-smmu: forcing sodev map for 0000:04:00.0
[ 2.510254] pci 0000:04:00.0: BAR 0: no space for [mem size 0x04000000]
[ 2.510259] pci 0000:04:00.0: BAR 0: failed to assign [mem size 0x04000000]
[ 2.510949] pci 0000:04:00.0: Signaling PME through PCIe PME interrupt
设备 0000:03:00.0 是可预取的,而 04 是不可预取的。在 dmesg 中,它说我没有空间容纳它们,但我知道我使用的卡(Nvidia Jetson TX2)有 127 MB 的空间用于不可预取设备,有 896 MB 的空间用于可预取设备。我尝试的设备有 8 MB + 8 MB 可预取内存和 64 MB 不可预取内存。
顺便说一句,感谢您的编辑建议,我意识到我在编辑问题时掌握的细节太少了。
这是我的 pcie 交换机的 dmesgs:01:00.0 是我的上游端口,而其他两个是下游端口。
[ 2.472535] pci 0000:01:00.0: [111d:808c] type 01 class 0x060400
[ 2.472856] pci 0000:01:00.0: PME# supported from D0 D3hot D3cold
[ 2.473055] iommu: Adding device 0000:01:00.0 to group 56
[ 2.473060] arm-smmu: forcing sodev map for 0000:01:00.0
[ 2.481784] pci 0000:01:00.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 2.486074] pci 0000:01:00.0: BAR 14: no space for [mem size 0x08000000]
[ 2.486078] pci 0000:01:00.0: BAR 14: failed to assign [mem size 0x08000000]
[ 2.486221] pci 0000:01:00.0: PCI bridge to [bus 02-04]
[ 2.486589] pci 0000:01:00.0: Signaling PME through PCIe PME interrupt
[ 2.482057] pci 0000:02:08.0: [111d:808c] type 01 class 0x060400
[ 2.482419] pci 0000:02:08.0: PME# supported from D0 D3hot D3cold
[ 2.482798] iommu: Adding device 0000:02:08.0 to group 57
[ 2.482807] arm-smmu: forcing sodev map for 0000:02:08.0
[ 2.483622] pci 0000:02:08.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 2.486090] pci 0000:02:08.0: BAR 14: no space for [mem size 0x01000000]
[ 2.486093] pci 0000:02:08.0: BAR 14: failed to assign [mem size 0x01000000]
[ 2.486114] pci 0000:02:08.0: PCI bridge to [bus 03]
[ 2.486592] pci 0000:02:08.0: Signaling PME through PCIe PME interrupt
[ 2.482957] pci 0000:02:10.0: [111d:808c] type 01 class 0x060400
[ 2.483284] pci 0000:02:10.0: PME# supported from D0 D3hot D3cold
[ 2.483475] iommu: Adding device 0000:02:10.0 to group 58
[ 2.483480] arm-smmu: forcing sodev map for 0000:02:10.0
[ 2.483650] pci 0000:02:10.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 2.486083] pci 0000:02:10.0: BAR 14: no space for [mem size 0x04000000]
[ 2.486087] pci 0000:02:10.0: BAR 14: failed to assign [mem size 0x04000000]
[ 2.486170] pci 0000:02:10.0: PCI bridge to [bus 04]
[ 2.486598] pci 0000:02:10.0: Signaling PME through PCIe PME interrupt
我看到那里有配置无效消息,但是当我再次将设置切换到实验 2 时,该无效配置消息仍然出现,我不确定这是问题所在。
答案1
我的意思是,bridge configuration invalid
并且BAR 14
(而不是 BAR 1 或某个合理的数字),并且没有空间,听起来桥已经完全坏了,或者至少它向操作系统呈现的配置是垃圾。
但如果桥是可编程的,那么就有可能解决这个问题......