Пропускная способность карты Intel 10 Гбит / с

Question

У меня есть карта Intel 10Gbps с контроллером 82599 10GbE. Карта имеет два порта. Лист данных контроллера говорит, что он поддерживает PCIe 2.0 (2.5 GT/s или 5.0 GT/s)

Теперь, согласно странице faq PCIe SIG (ссылка: https://www.pcisig.com/news_room/faqs/pcie3.0_faq/#EQ3), говорится, что для скорости передачи данных 5,0 Гбит / с PCIe дает пропускную способность соединения 4 Гбит / с и на линию в направлении 500 МБ / с)

Я выполнил тест netperf на карте (я подключил две из этих карт через OFC вплотную без коммутаторов между ними) и пропускную способность около 3,3 Гбит / с (что составляет около 400 МБ / с)

Моя карта используется недостаточно или эти цифры складываются? Почему бы мне не получить полные 10 Гбит / с на карту (и только 3,3 Гбит / с)

(Карта х4 на слоте х8)

Обновление: сетевая карта идет в слот, который настроен как PCIe 3.0 и его слот x8 (он поддерживает до 8.0 GT/s). А что касается самой платы, то это плата Freescale (процессор: T4240). Так что я подумал, что плата может быть в порядке, с картой медленнее из двух.

Заранее спасибо.

Answer 1

Есть много причин, по которым вы можете не видеть 10 Гбит / с по ссылке. Я могу предложить следующее:

• PCIe 2.0 предлагает эффективную пропускную способность 4 Гбит / с на линию. Карта PCIe 2.0 4x в слоте PCIe 2.0 или более поздней версии будет иметь канал 4x, обеспечивая эффективную полосу пропускания 20 Гбит / с. Этого достаточно для того, чтобы обе ссылки были полностью насыщены, при условии, что остальная часть вашего оборудования справится с этим.
• Многие операционные системы общего назначения для настольных компьютеров и серверов по умолчанию не настроены для работы в сетях с высокой пропускной способностью.

Чтобы получить максимальную производительность от этой карты, вам нужно:

• Отключите все, что ограничит производительность сети или скорость процессора / обработку прерываний:

Пример Linux:

service irqbalance stop
service cpuspeed stop
chkconfig irqbalance off
chkconfig cpuspeed off

• Разрешить 9K гигантские кадры с большой длиной очереди передачи:

Пример Linux:

ifconfig eth2 mtu 9000 txqueuelen 1000 up

• Увеличьте сетевые буферы, чтобы они могли поддерживать карту насыщенной данными:

Пример Linux:

# -- 10gbe tuning from Intel ixgb driver README -- #

# turn off selective ACK and timestamps
net.ipv4.tcp_sack = 0
net.ipv4.tcp_timestamps = 0

# memory allocation min/pressure/max.
# read buffer, write buffer, and buffer space
net.ipv4.tcp_rmem = 10000000 10000000 10000000
net.ipv4.tcp_wmem = 10000000 10000000 10000000
net.ipv4.tcp_mem = 10000000 10000000 10000000

net.core.rmem_max = 524287
net.core.wmem_max = 524287
net.core.rmem_default = 524287
net.core.wmem_default = 524287
net.core.optmem_max = 524287
net.core.netdev_max_backlog = 300000

Вы можете выполнить дополнительную настройку канала PCI, например, увеличить максимальный размер блока до 4K. При правильной настройке вы должны иметь возможность проталкивать около 9,90 Гбит / с по каждой ссылке.

Помните, что сервер и клиент, а также каждый переход (коммутатор / маршрутизатор) должны быть настроены одинаково, чтобы не препятствовать потоку данных.

Answer 2

То же самое и здесь ... оказывается, это потому, что протокол 10 Гбит / с восстановил кодирование старого модема ... со стартовым / стоповым битом и 8 битами данных.

Сегодняшний курс:

R:512+0 records in
512+0 records out
4294967296 bytes (4.0GB) copied, 6.37415s, 642.6MB/s
W:512+0 records in
512+0 records out
4294967296 bytes (4.0GB) copied, 6.78951s, 603.3MB/s

(это запускается на клиенте Win7, обращающемся к нулевым файлам в конце linux - /dev /zero для чтения и /dev /null для записи).

Для 'smb/cifs' и одного клиента соединение двух карт вместе не помогает пропускной способности (так как smb/cifs является протоколом 1 соединение / клиент). :-(

PS-Это не было, кстати, правда на 1Gb, и я не думаю, что это правда на 40Gb ... Ламе! По ощущениям дискового пространства МБ!= 1024 ** 2 байта выдают, когда он появился впервые ... способ заставить его звучать лучше, чем есть на самом деле ...