带你了解PCIE通信原理
01
PCIE简介
PCI-Express(peripheral component interconnect express),简称PCIE,是一种高速串行计算机扩展总线标准,主要用于扩充计算机系统总线数据吞吐量以及提高设备通信速度。
PCIE本质上是一种全双工的的连接总线,传输数据量的大小由通道数lane决定的。一般,1个连接通道lane称为X1,每个通道lane由两对数据线组成,一对发送,一对接收,每对数据线包含两根差分线。即X1只有1个lane,4根数据线,每个时钟每个方向1bit数据传输。依次类推,X2就有2个lane,由8根数据线组成,每个时钟传输2bit。类似的还有X12、X16、X32。
▲图1-1 PCIE总线通道和速率关系
02
PCIE总线架构图
PCIE体系架构一般包含根组件RC(rootcomplex),交换器switch,终端设备EP(endpoint)等类型的PCIE设备组成。RC在总线架构中只有一个,用于处理器和内存子系统与I/O设备之间的连接,而switch的功能通常是以软件形式提供的,它包括两个或更多的逻辑PCI到PCI的连接桥(PCI-PCI Bridge),以保持与现有PCI兼容,具体功能类似现在的网络交换机。
▲图2-1 PCIE总线架构拓扑
当总线上存在多种PCIE设备时,主机host会依照深度优先的算法对全部的设备树上的PCIE设备进行枚举查询,统称PCIE设备枚举。
一般来说,当系统上电后,host会自动查询PCIE设备枚举以获取总线拓扑结构。除一些特殊系统外,普通的系统只会在开机阶段进行设备的扫描,启动成功后,即枚举过程结束后,即使插入一个PCIE设备,系统也不会再去识别它。
在SkyEye仿真平台中,我们使用相对应的接口连接来模拟实际的PCIE设备之间的总线连接,以ft2000为例,PCIE总线连接架构图2-2如下所示。
▲图2-2 ft2000a连接PCIE设备示意图
在SkyEye平台仿真PCIE总线设备时,最少需要拖拽3个模块,以ft2000a为例,需要拖拽ft2000a_pcie和ft2000a_pcie_memory模块作为RC设备;第二是需要拖拽pcie_linker作为总线连接器,主要承担的是PCIE桥或者交换器的功能;最后就需要添加PCIE终端设备,根据实际需要来添加相应的模块,可以存在多个终端设备。
在使用接口连接RC设备和pcie_linker设备时,需要选中两种接口,如下图所示:
▲图2-3 RC连接linker的接口
其中“pcie_bus_intf”主要用来实现PCIE总线的内存映射和读写功能。
同时,RC的设备属性上也需要设置PCIE的EP数量(不包括桥或者交换器),如下图所示:
▲图2-4 RC设备属性设置
使用pcie_linker可以1对多的连接,需要对接口连接中的索引值进行设定,如下图,需要注意的是,索引值的设置需要与上面的“pcie_num”对应,从0开始,一直到“pcie_num” - 1,且最大不超过64.
▲图2-5 linker连接EP设备接口
03
PCIE的BDF
每个PCIE设备在系统总线上都有自己的标识符,这个标识符就是BDF(Bus,Device,Function),PCIE的配置软件(即Root的应用层,一般是PC)应当有能力识别整个PCIE总线系统的拓扑逻辑,以及其中的每一条总线(Bus),每一个设备(Device)和每一项功能(Function)。
在BDF中,Bus Number占用8位,Device Number占用5位,Function Number占用3位。显然,PCIe总线最多支持256个子总线,每个子总线最多支持32个设备,每个设备最多支持8个功能,如下图所示:
▲图3-1 BDF空间分配
需要注意的是,每Bus0总是分配给RC,且每个设备必须要有功能0(Fun0),其他的7个功能(Fun1~Fun7)都是可选的。
SkyEye仿真实现PCIE设备的BAR地址设置则是在PCIE设备建模时对其配置信息结构体中对BDF进行配置。
▲图3-2 SkyEye仿真配置BDF
04
PCIE的配置空间
PCIE有三个相互独立的物理地址空间:设备存储器地址空间、I/O地址空间和配置空间。配置空间是PCIE所特有的一个物理空间。由于PCIE支持设备即插即用,所以PCIE设备不占用固定的内存地址空间或I/O地址空间,而是通过配置空间来实现地址映射的。
系统加电时,BIOS检测PCIE总线,确定所有连接在PCIE总线上的设备以及它们的配置要求,并进行系统配置。所以,所有的PCIE设备必须实现配置空间,从而能够实现参数的自动配置,实现真正的即插即用。
PCI总线规范定义的配置空间总长度为256个字节,配置信息按一定的顺序和大小依次存放。前64个字节的配置空间称为配置头,一般有两种,Type0和Type1,分别对应桥设备和终端设备。配置头的主要功能是用来识别设备、定义主机访问PCI卡的方式(I/O访问或者存储器访问,还有中断信息),Type0如图4-1所示,Type1如图4-2所示。
▲图4-1 终端设备Type0配置头
▲图4-2 桥设备Type1配置头
其中,配置头中的重要寄存器意义如下:
Vendor ID:厂商ID。知名的设备厂商的ID。FFFFh是一个非法厂商ID,可它来判断PCI设备是否存在。
Device ID:设备ID。某厂商生产的设备的ID。操作系统就是凭着 Vendor ID和Device ID 找到对应驱动程序的。
Class Code:类代码。共三字节,分别是类代码、子类代码、编程接口。类代码不仅用于区分设备类型,还是编程接口的规范,这就是为什么会有通用驱动程序。
IRQ Line:IRQ编号。PC机以前是靠两片8259芯片来管理16个硬件中断。现在为了支持对称多处理器,有了APIC(高级可编程中断控制器),它支持管理24个中断。
IRQ Pin:中断引脚。PCI有4个中断引脚,该寄存器表明该设备连接的是哪个引脚。
Status:设备状态字,具体每个BIT的意义见下图4-3
Command:设备状态字,具体含义见图4-4
Base Address Registers:决定PCI/PCIE设备空间映射到系统空间具体位置的寄存器,映射方式有两种,分别是IO和Memory映射,具体解析见图4-5
▲图4-3 status解析图
▲command解析图
▲图4-5 BAR解析图
所有的PCIE终端设备在系统初始化后会在得到对应的配置空间信息,在SkyEye平台仿真也是如此。其中具体的配置信息需要手动设置,参考下图4-6。
一般需要配置的主要有设备对象指针obj,BDF,vendor_id和device_id,以及内存映射地址BAR和其映射长度,可以按照需要配置多个BAR空间。其余一些配置寄存器也可以手动设置,遵循Type0的配置空间格式,具体的配置空间信息可参考:
《skyeye_dev_bus_intf.h》
需要注意地是,在设置配置空间信息的时候,必须在new阶段,这主要是由skyeye平台初始化顺序决定的。
▲图4-6 PCIE终端设备初始化配置空间
除去上面提到的64B空间外的其余的192个字节称为本地配置空间,主要定义卡上局部总线的特性、本地空间基地址及范围等。而PCIE总线则继承了PCI总线的前256字节外,即0x00~0xFF,还额外扩充到了4K的配置空间,即0x00~0xFFF,其扩展形式是通过一种称为Capability的寄存器块来完成的,下图是具体的布局。
▲图4-6 PCIE配置空间扩展结构图
在原来的配置空间中,有一个寄存器指定了第一个Capability的位置,而第一个Capability又指定下一个Capability,构成了一串Capability,具体如下图所示,由于Capability的作用各不相同,且目前SkyEye关于此功能设置还未完善,这里不再赘述。
▲图4-7 Capability寄存器关系图
05
PCIE的建模仿真
5.1注册接口
对PCIE终端设备进行建模,设备需要注册两个接口,分别是memory_space和pcie_config_intf,其中pcie_config_intf接口声明在文件《skyeye_dev_bus_intf.h》中,主要用来传送其配置信息,如下所示:
▲图5-1 PCIE终端设备接口注册
注册接口实现后,需要对配置空间信息进行设置,具体操作参考第四节的内容。
5.2 BAR内存空间读写
在上一节设置完BAR的地址信息后,就需要实现不同的BAR地址映射功能,而我们主要通过memory_space接口实现,参考如下结构,读写同理。
▲图5-2 PCIE终端设备BAR地址映射接口
需要注意的是,PCIE终端设备中的memory_space接口中的第二个参数addr代表实际的映射地址,与以往的代表地址偏移不同。