Обеспечивает ли PCIe 3.0 x8 достаточную пропускную способность для двойной сетевой платы QSFP 40 Гбит?

Question

Я исследую двойные сетевые карты QSFP 40 Гбит для рабочего проекта и задаю несколько вопросов относительно теоретической максимальной пропускной способности PCIe 3.0.

В настоящее время я рассматриваю двойную карту QSFP PCIe 3.0 x8 на CDW (Mellanox MCX314A-BCBT), но не думаю, что PCIe x8 обеспечит достаточную пропускную способность для обоих 40-битных каналов при 100% загрузке.

Википедия утверждает, что теоретическая максимальная пропускная способность PCIe 3.0 составляет 985 МБ / с на линию. Таким образом, по моим расчетам, PCIe 3.0 x8 даст максимальную пропускную способность 7880 МБ / с. Если это так, карта будет насыщать соединение PCIe, если оба канала загружены на 100%.

Вот мои конкретные вопросы:

• Какова максимальная пропускная способность, которую может выдавать двойная сетевая карта QSFP 40 Гбит?

• Какова максимальная пропускная способность, которую PCIe 8x может обрабатывать до насыщения?

• Есть ли простой способ рассчитать это?

Answer 1

Какова максимальная пропускная способность, которую PCIe 8x может обрабатывать до насыщения?

Максимальная пропускная способность одной линии PCIe v3 составляет 985 МБ / с. (8,0 Гбит / с).

x8 означает, что можно использовать до 8 линий PCIe, что дает теоретический максимум 64 Гбит / с.
Это менее двух 40Гбитных ссылок.

Таким образом, вы не можете запустить обе ссылки на полной скорости. Это может быть достаточно на практике, хотя. Особенно, если движение бурное. Так же, как оба канала не лопнут одновременно.

Answer 2

Делая небольшой размерный анализ

Преобразовав 7880 МБ / с в Гбит / с, мы получаем 63,04 ГБ / с.

(63.04 gigabits per second)/(40 (gigabits per second)) = 1.576

Если у вас есть такой макет:

Блок (1) слот PCIe 3.0, x8 или больше -> одна плата QSFP, обеспечивающая 1 x 40 Гбит / с, подключенная к 8 линиям

Устройство (2) слот PCIe 3.0, x8 или больше -> одна плата QSFP, обеспечивающая 1 x 40 Гбит / с, подключенная к 8 линиям

... тогда он будет работать нормально, даже если учесть тот факт, что будут некоторые накладные расходы, затрудняющие достижение теоретической пропускной способности, поскольку каждый слот PCIe будет иметь свои собственные линии.

Однако, если у вас есть такой макет:

Устройство (1) слот PCIe 3.0, x8 или больше -> одна плата QSFP (2 x 40 Гбит / с), подключенная к 8 линиям

... тогда это не будет работать нормально, потому что теперь вместо того, чтобы иметь пропускную способность в 1,576 раз больше, вам нужно иметь пропускную способность в 0,788 раза больше, чем нужно.

Я предполагаю, что производитель полагает, что издержки протокола на уровне Ethernet замедлят его настолько, что это ограничение не будет иметь значения, или каким-то другим узким местом в подсистеме ввода / вывода или поворотов приложений (циклические обходы). Кажется странным, что они спроектировали бы карту так, чтобы максимальная теоретическая пропускная способность двух портов на плате превышала теоретическую пропускную способность 8 линий, но если вы действительно ожидаете использовать пропускную способность> 78% от 80 Гбит / с, вы можете хотите просто купить две карты (в идеале, с одним портом на каждую, если вы можете найти другую модель с этим), и поместить их в отдельные слоты, каждая из которых должна иметь ширину не менее 8 линий.