Настройка устройства ELTEXMES2324

С-Терра Шлюз / Инструкции по использованию отдельных компонентов ~3 мин чтения 2673 слов

Агрегирование сетевых интерфейсов на «С-Терра Шлюз»

Скачать в формате PDF

Введение

Данная инструкция содержит описание настройку агрегирования сетевых интерфейсов на криптошлюзе безопасности «С-Терра Шлюз» версии 5.0 и коммутаторе Cisco C2960-LANBASEK9-M c Cisco IOS 12.2(44)SE2.

В главе «Дополнительные настройки» также присутствуют настройки агрегирования каналов в режиме Active-Backup, настройка VLAN на агрегированном интерфейсе и пример настройки агрегирования на устройстве ELTEX MES2324.

Схема взаимодействия

Рисунок 1. Схема взаимодействия

Общая логика работы

Физические интерфейсы GigabitEthernet0/0 и GigabitEthernet0/1 криптошлюза GW1 будут объединены в один виртуальный сетевой интерфейс bond0 (в консоли cisco-like этот интерфейс будет добавлен как Port-channel0). На криптошлюзе будет настроен режим агрегирования сетевых интерфейсов по стандарту 802.3ad с использованием протокола LACP. Данный протокол позволяет обеспечить отказоустойчивость физических интерфейсов и балансировку трафика.

На коммутаторе Cisco будет также настроен EtherChannel с использованием протокола LACP.

Настройка стенда

Настройка устройства GW1

Настройка криптошлюза безопасности GW1 производится с учетом того, что криптошлюз был инициализирован и импортированы все необходимые сертификаты. Настройка производится через локальную консоль или удаленно (SSH с правами суперпользователя) по доверенному каналу связи.

Объединение интерфейсов

В данной инструкции будут рассматриваться интерфейсы eth0 и eth1, которые будут объедены в один логический bond0.

Определите название интерфейсов в нотации linux:
Соответствие название интерфейса в cisco-like консоли и в нотации linux можно посмотреть в карте интерфейсов:

root@GW1:~# cat /etc/ifaliases.cf

interface (name="GigabitEthernet0/0" pattern="eth0")

interface (name="GigabitEthernet0/1" pattern="eth1")

interface (name="GigabitEthernet0/2" pattern="eth2")

interface (name="GigabitEthernet0/3" pattern="eth3")

interface (name="default" pattern="*")

Видно, что интерфейсу GigabitEthernet0/0 соответствует eth0, GigabitEthernet0/1 соответствует eth1.
Выключите сетевые интерфейсы, которые будут входить в bonding интерфейс bond0, если они ранее были включены или настроены:

root@GW1:~# ifdown eth0

root@GW1:~# ifdown eth1

Удалите в файле /etc/network/interfaces или в файлах, располагающихся в директории /etc/network/interfaces.d/ строки с настройками для интерфейсов, которые будут входить в bonding интерфейс bond0, в данном примере это eth0 и eth1 (удалять строки с данными интерфейсами из файла /etc/ifaliases не нужно).
Отредактируйте файл /etc/network/interfaces.d/bond0, добавив в него описание для Bonding (port channel) интерфейса, например:

root@GW1:~# vim.tiny /etc/network/interfaces.d/bond0

auto bond0

iface bond0 inet static

address 192.168.1.1

netmask 255.255.255.0

slaves eth0 eth1

bond_mode 802.3ad

bond_miimon 100

bond_xmit_hash_policy layer2+3

где:

address <IP-адрес> – IP-адрес логического интерфейса (bond0);
netmask <маска>– сетевая маска для IP адрес логического интерфейса;
mtu <значение> – параметр для задания MTU интерфейса; значение по умолчанию – 1500; при изменении MTU интерфейса bond0 меняется MTU и объединяемых интерфейсов eth0 и eth1;
slaves <интерфейс> – имена физических интерфейсов, объединяемых в агрегированный канал;
bond_mode – настройка, отвечающая за протокол, который обеспечивает работу агрегации каналов (в данном примере – это LACP, который основан на стандарте 802.3ad);
bond_miimon <интервал> – параметр, определяющий интервал времени в миллисекундах. Через заданное время будет происходить проверка физических интерфейсов на их доступность;
bond_xmit_hash_policy – параметр, определяющий уровень (эталонная модель OSI), на котором будет происходить вычисление хеш-функции для последующей балансировки трафика.

Более полное описание настроек, относящихся к агрегированным каналам для Linux смотрите по ссылке https://www.kernel.org/doc/Documentation/networking/bonding.txt.

Изменение IP адреса, маски подсети и значения MTU для интерфейса bond0 должно происходить через файл /etc/network/interfaces.d/bond0, а не через cisco-like консоль.

При использовании bond_xmit_hash_policy layer2+3 на втором уровне первые 5 байт MAC адреса не учитываются при балансировке трафика между физическими интерфейсами, объединенных в агрегированный канал.

Пример настройки в режиме Active-Backup представлен в главе «Дополнительные настройки» в разделе “Использование режима Active-Backup”.
Пример настройки VLAN на bond-интерфейсе представлен в главе «Дополнительные настройки» в разделе “Использование VLAN на интерфейсе bond0”.
Для того, чтобы Bonding интерфейс bond0 появился в системе, выполните команду ifup bond0, после чего убедитесь, что данный интерфейс действительно доступен в системе, а интерфейсы eth0/eth1 добавлены в bond0:

root@GW1:~# ifup bond0

root@GW1:~# ip address show bond0

10: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 10000

link/ether 00:90:0b:68:3c:ba brd ff:ff:ff:ff:ff:ff

inet 192.168.1.1/24 brd 192.168.1.255 scope global bond0

valid_lft forever preferred_lft forever

inet6 fe80::4389:22fe:93dd:bd03/64 scope link stable-privacy

valid_lft forever preferred_lft forever

root@GW1:~# ip address show eth0

3: eth0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000

link/ether 00:90:0b:68:3c:ba brd ff:ff:ff:ff:ff:ff

altname enp3s0

altname ens160

altname GigabitEthernet0_0

root@GW1:~# ip address show eth1

4: eth1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000

link/ether 00:90:0b:68:3c:ba brd ff:ff:ff:ff:ff:ff permaddr 00:50:56:9e:92:46

altname enp11s0

altname ens192

altname GigabitEthernet0_1

Видно, что Bonding интерфейс bond0 присутствует в системе и сконфигурирован, а также интерфейсы eth0/eth1 добавлены в bond0. Расширенную информацию о bond0 можно посмотреть при помощи команд:

root@GW1:~# cat /proc/net/bonding/bond0

root@GW1:~# ip -d address show bond0

root@GW1:~# ip -s address show bond0

Добавьте Bonding интерфейс bond0 в файл /etc/ifaliases.cf (выделено жирным):

root@GW1:~# vim.tiny /etc/ifaliases.cf

interface (name="GigabitEthernet0/0" pattern="eth0")

interface (name="GigabitEthernet0/1" pattern="eth1")

interface (name="GigabitEthernet0/2" pattern="eth2")

interface (name="GigabitEthernet0/3" pattern="eth3")

interface (name="Port-channel0" pattern="bond0")

interface (name="default" pattern="*")

значение параметра name должно быть задано в виде Port-channelN;
значение параметра pattern должно соответствовать имени Bonding интерфейса в нотации Linux.

Пересчитайте контрольную сумму измененного файла:

root@GW1:~# integr_mgr calc -f /etc/ifaliases.cf

SUCCESS: Operation was successful.

Перезапустите VPN сервис:

root root@GW1:~# systemctl restart vpngate.service

Теперь интерфейс Port-channel0 должен быть доступен к заданию политики СКЗИ и правил МЭ при помощи консоли сisco-like и LSP.

Настройка устройства Switch1

Для того, чтобы настроить протокол LACP на коммутаторе Cisco C2960-LANBASEK9-M c Cisco IOS 12.2(44)SE2, выполните следующие действия:

Войдите в режим конфигурирования:

SWITCH1>enable

Password:

SWITCH1#configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

Укажите алгоритм балансировки трафика:

SWITCH1(config)#port-channel load-balance src-dst-ip

Настройте порты Gi0/1 и Gi0/2 коммутатора на работу протокола LACP:

SWITCH1(config)#interface range Gi0/1-2

Укажите протокол LACP:

SWITCH1(config-if-range)#channel-protocol lacp

Укажите режим работы:

SWITCH1(config-if-range)#channel-group 1 mode active

Creating a port-channel interface Port-channel 1

Включите опцию “Portfast” (не обращайте внимание на предупреждение):

SWITCH1(config-if-range)#spanning-tree portfast

%Warning: portfast should only be enabled on ports connected to a single

host. Connecting hubs, concentrators, switches, bridges, etc... to this

interface when portfast is enabled, can cause temporary bridging loops.

Use with CAUTION

%Portfast will be configured in 2 interfaces due to the range command

but will only have effect when the interfaces are in a non-trunking mode.

Включите порты:

SWITCH1(config-if-range)#no shutdown

SWITCH1(config-if-range)#exit

Сохраните конфигурацию:

SWITCH1#write

Building configuration...

[OK]

В данной инструкции на коммутаторе Cisco применяется EtherChannel с использованием протокола LACP.

Проверка работоспособности стенда

Проверка состояния агрегированного канала

Для того, чтобы убедиться, что настройка протокола LACP выполнена корректно выполните следующие проверки:

На коммутаторе Switch1 выполните:

SWITCH1#show lacp neighbor

Flags: S - Device is requesting Slow LACPDUs

F - Device is requesting Fast LACPDUs

A - Device is in Active mode P - Device is in Passive mode

Channel group 1 neighbors

Partner's information:

LACP port Admin Oper Port Port

Port Flags Priority Dev ID Age key Key Number State

Gi0/1 SA 255 0090.0b68.3cba 12s 0x0 0x7 0x1 0x3D

Gi0/2 SA 255 0090.0b68.3cba 12s 0x0 0x7 0x2 0x3D

Обратите внимание на колонку Dev ID. Данные адреса должны соответствовать MAC-адресу логического интерфейса bond0 на криптошлюзе.
На криптошлюзе безопасности GW1 выполните команду:

root@GW1:~# cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v6.1.0-13st1-amd64

Bonding Mode: IEEE 802.3ad Dynamic link aggregation

Transmit Hash Policy: layer2+3 (2)

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

Peer Notification Delay (ms): 0

802.3ad info

LACP active: on

LACP rate: slow

Min links: 0

Aggregator selection policy (ad_select): stable

System priority: 65535

System MAC address: 00:90:0b:68:3c:ba

Active Aggregator Info:

Aggregator ID: 1

Number of ports: 2

Actor Key: 7

Partner Key: 1

Partner Mac Address:00:21:d7:98:5e:80

Slave Interface: eth1

MII Status: up

Speed: 100 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 00:90:0b:68:3c:ba

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

details actor lacp pdu:

system priority: 65535

system mac address: 00:90:0b:68:3c:ba

port key: 7

port priority: 255

port number: 1

port state: 61

details partner lacp pdu:

system priority: 32768

system mac address: 00:21:d7:98:5e:80

oper key: 1

port priority: 32768

port number: 2

port state: 61

Slave Interface: eth0

MII Status: up

Speed: 100 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 00:90:0b:68:3c:b9

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

details actor lacp pdu:

system priority: 65535

system mac address: 00:90:0b:68:3c:ba

port key: 7

port priority: 255

port number: 2

port state: 61

details partner lacp pdu:

system priority: 32768

system mac address: 00:21:d7:98:5e:80

oper key: 1

port priority: 32768

port number: 1

port state: 61

MAC-адрес партнера по протоколу LACP: 00:21:d7:98:5e:80, данный адрес должен соответствовать адресу на коммутаторе Switch1:

SWITCH1#show lacp sys-id

32768, 0021.d798.5e80

Проверка балансировки

В данной инструкции на коммутаторе используется правило балансировки – dst-src-ip.
Проверить правило балансировки можно, выполнив команду:

SWITCH1#show etherchannel load-balance

EtherChannel Load-Balancing Configuration:

src-dst-ip

EtherChannel Load-Balancing Addresses Used Per-Protocol:

Non-IP: Source XOR Destination MAC address

IPv4: Source XOR Destination IP address

IPv6: Source XOR Destination IP address

Проверить через какие интерфейсы идет трафик можно, выполнив команду:

SWITCH1#test etherchannel load-balance interface port-channel 1 ip 192.168.100.100 192.168.1.100

Would select Gi0/2 of Po1

SWITCH1#test etherchannel load-balance interface port-channel 1 ip 192.168.100.100 192.168.1.101

Would select Gi0/1 of Po1

На криптошлюзе используется правило балансировки bond_xmit_hash_policy layer2+3.

Правила балансировки на используемом коммутаторе Cisco и «С-Терра Шлюз» различаются. Добиться заметного увеличения пропускной способности можно только при большом количестве сессий.

Проверка отказоустойчивости

Предположим, что есть удаленная подсеть 192.168.1.0/24 с хостами 192.168.1.100 и 192.168.1.101.
Запустите утилиту ping с хоста Host1 с адресом 192.168.100.100 на адрес 192.168.1.100 и 192.168.1.101 с интервалом 0.1. Данный трафик будет идти по разным каналам.

root@IPHost1:~# ping 192.168.1.100 -i 0.1

root@IPHost1:~# ping 192.168.1.101 -i 0.1

Отключите на коммутаторе один из линков.
Данный линк перейдет в состояние DOWN:

SWITCH1#show etherchannel summary

Flags: D - down P - bundled in port-channel

I - stand-alone s - suspended

H - Hot-standby (LACP only)

R - Layer3 S - Layer2

U - in use f - failed to allocate aggregator

M - not in use, minimum links not met

u - unsuitable for bundling

w - waiting to be aggregated

d - default port

Number of channel-groups in use: 5

Number of aggregators: 5

Group Port-channel Protocol Ports

------+-------------+-----------+-----------------------------------------------

1 Po1(SU) LACP Gi0/1(D) Gi0/2(P)

При этом небольшое количество пакетов пропадет.

64 bytes from 192.168.1.101: icmp_req=269 ttl=64 time=0.101 ms

64 bytes from 192.168.1.101: icmp_req=270 ttl=64 time=0.101 ms

64 bytes from 192.168.1.101: icmp_req=271 ttl=64 time=0.100 ms

64 bytes from 192.168.1.101: icmp_req=272 ttl=64 time=0.102 ms

64 bytes from 192.168.1.101: icmp_req=273 ttl=64 time=0.100 ms

64 bytes from 192.168.1.101: icmp_req=274 ttl=64 time=0.099 ms

64 bytes from 192.168.1.101: icmp_req=282 ttl=64 time=0.112 ms

64 bytes from 192.168.1.101: icmp_req=283 ttl=64 time=0.073 ms

64 bytes from 192.168.1.101: icmp_req=284 ttl=64 time=0.074 ms

64 bytes from 192.168.1.101: icmp_req=285 ttl=64 time=0.095 ms

64 bytes from 192.168.1.101: icmp_req=286 ttl=64 time=0.091 ms

В данном случае сессия при перестроении потеряла 7 пакетов. Значит сессия перестроилась на другой канал за ~0,8 секунд.

Дополнительные настройки

Использование режима Active-Backup

При необходимости использования агрегации каналов в режиме Active-Backup используйте параметр bond_mode active-backup. При этом параметр bond_xmit_hash_policy не используется.

root@GW1:~# vim.tiny /etc/network/interfaces.d/bond0

auto bond0

iface bond0 inet static

address 192.168.1.1

netmask 255.255.255.0

slaves eth0 eth1

bond_mode active-backup

bond_miimon 100

Если в файле /etc/network/interfaces или в файлах директории /etc/network/interfaces.d/ присутствуют строки с настройками для интерфейсов eth0 и eth1, то необходимо их удалить.

Балансировки трафика в данном режиме не предусмотрено.

Существует возможность использовать данный режим не только для резервирования каналов, но и для резервирования коммутаторов (Рисунок 2).

Рисунок 2. Схема с агрегированием коммутаторов

Дальнейшая настройка не отличается от настройки агрегации каналов по стандарту 802.3ad с использованием протокола LACP.

Использование VLAN на интерфейсе bond0

При необходимости использования VLAN на интерфейсе bond0 отредактируйте файл /etc/network/interfaces.d/bond0.

root@GW1:~# vim.tiny /etc/network/interfaces.d/bond0

auto bond0

iface bond0 inet manual

slaves eth0 eth1

bond_mode 802.3ad

bond_miimon 100

bond_xmit_hash_policy layer2+3

auto bond0.10

iface bond0.10 inet static

address 192.168.1.1

netmask 255.255.255.0

Предполагается, что изменения IP адреса, маски подсети и значения MTU для интерфейсов bond0, bond0.10 будет происходить через файлы, находящиеся в каталоге /etc/network/interfaces.d/bond0, а не через cisco-like консоль.

Интерфейс bond0 должен быть с параметром inet maual, а не inet static, так как IP адреса на данном интерфейсе не заданы.

При использовании на VLAN интерфейсах значений MTU отличных от 1500, необходимо прописать в файле /etc/network/interfaces.d/bond0 строки для задания MTU интерфейса bond0 и VLAN интерфейсов.

MTU VLAN-интерфейса bond0.10 не может быть больше, чем MTU интерфейса bond0.

Для применения настроек выполните перезапуск сетевого сервиса:

root@GW1:~# systemctl restart networking.service

Для работы IPsec на VLAN интерфейсе необходимо выполните следующие действия:
1. Добавьте данный интерфейс в файл /etc/ifaliases.cf:

...

interface (name="Port-channel0.10" pattern="bond0.10")

...

interface (name="default" pattern="*")

2. Пересчитайте контрольную сумму измененного файла:

root@GW1:~# integr_mgr calc -f /etc/ifaliases.cf

SUCCESS: Operation was successful.

3. Перезапустите VPN сервис:

root@GW1:~# systemctl restart vpngate.service

4. После проведенных настроек можно прикрепить крипто-карту на интерфейс Port-channel0.10 (bond0.10).
Проверить принадлежность трафика к VLAN можно с помощью утилиты tcpdump:

root@GW1:~# tcpdump -i bond0 -e -n

08:45:45.246018 00:10:18:a7:89:dc > 00:10:18:9e:ed:1c, ethertype 802.1Q (0x8100), length 102: vlan 10, p 0, ethertype IPv4, 192.168.1.1 > 192.168.1.100: ICMP echo request, id 2143, seq 9, length 64

08:45:45.246079 00:10:18:9e:ed:1c > 00:10:18:a7:89:dc, ethertype 802.1Q (0x8100), length 102: vlan 10, p 0, ethertype IPv4, 192.168.1.100 > 192.168.1.1: ICMP echo reply, id 2143, seq 9, length 64

Настройка устройства ELTEX MES2324

Для того, чтобы настроить протокол LACP на коммутаторе ELTEX MES2324 выполните следующие действия:

Укажите алгоритм балансировки трафика в режиме конфигурирования:

SWITCH1(config)#Port-Channel load-balance src-dst-ip

Настройте порты Gi1/0/1 и Gi1/0/2 коммутатора на работу протокола LACP:

SWITCH1(config)#interface range GigabitEthernet1/0/1-2

Укажите режим работы использование протокола LACP:

SWITCH1(config-if-range)#channel-group 1 mode auto

27-Apr-2024 10:58:32 %LINK-W-Down: gi1/0/1

27-Apr-2024 10:58:32 %LINK-W-Down: Po1

SW2(config-if-range)#27-Apr-2024 10:58:32 %LINK-W-Down: Vlan 1

27-Apr-2024 10:58:32 %LINK-W-Down: gi1/0/2

27-Apr-2024 10:58:35 %LINK-I-Up: gi1/0/1

27-Apr-2024 10:58:36 %LINK-I-Up: gi1/0/2

27-Apr-2024 10:58:39 %TRUNK-I-PORTADDED: Port gi1/0/1 added to Po1

27-Apr-2024 10:58:39 %TRUNK-I-PORTADDED: Port gi1/0/2 added to Po1

27-Apr-2024 10:58:39 %LINK-I-Up: Po1

27-Apr-2024 10:58:39 %LINK-I-Up: Vlan 1

27-Apr-2024 10:58:43 %STP-W-PORTSTATUS: Po1: STP status Forwarding

Включите опцию “Portfast” (не обращайте внимание на предупреждение):

SWITCH1(config-if-range)#spanning-tree portfast

Включите порты:

SWITCH1(config-if-range)#no shutdown

SWITCH1(config-if-range)#exit

Сохраните конфигурацию:

SWITCH1#write

Overwrite file [startup-config].... (Y/N)[N] ?Y

27-Apr-2024 10:59:32 %COPY-I-FILECPY: Files Copy - source URL running-config destination URL flash://system/configuration/startup-config

27-Apr-2024 10:59:34 %COPY-N-TRAP: The copy operation was completed successfully

Получение общих сведений с интерфейса:

SW2#show lacp GigabitEthernet1/0/1

gi1/0/1 LACP parameters:

Actor

system priority: 1

system mac addr: e0:d9:e3:a0:fe:80

port Admin key: 1000

port Oper key: 1000

port Oper number: 49

port Admin priority: 1

port Oper priority: 1

port Admin timeout: LONG

port Oper timeout: LONG

LACP Activity: ACTIVE

Aggregation: AGGREGATABLE

synchronization: TRUE

collecting: TRUE

distributing: TRUE

expired: FALSE

Partner

system priority: 65535

system mac addr: 00:90:0b:68:3c:ba

port Admin key: 0

port Oper key: 9

port Oper number: 2

port Admin priority: 0

port Oper priority: 255

port Oper timeout: LONG

LACP Activity: ACTIVE

Aggregation: AGGREGATABLE

synchronization: TRUE

collecting: TRUE

distributing: TRUE

expired: FALSE

gi1/0/1 LACP statistics:

LACP Pdus sent: 19

LACP Pdus received: 18

gi1/0/1 LACP Protocol State:

LACP State Machines:

Receive FSM: Current State

Mux FSM: Collecting Distributing State

Periodic Tx FSM: Slow Periodic State

Control Variables:

BEGIN: FALSE

LACP_Enabled: TRUE

Ready_N: FALSE

Selected: SELECTED

Port_moved: FALSE

NNT: FALSE

Port_enabled: TRUE

Timer counters:

periodic tx timer: 21

current while timer: 68

wait while timer: 0

SW2#show lacp GigabitEthernet1/0/2

gi1/0/2 LACP parameters:

Actor

system priority: 1

system mac addr: e0:d9:e3:a0:fe:80

port Admin key: 1000

port Oper key: 1000

port Oper number: 50

port Admin priority: 1

port Oper priority: 1

port Admin timeout: LONG

port Oper timeout: LONG

LACP Activity: ACTIVE

Aggregation: AGGREGATABLE

synchronization: TRUE

collecting: TRUE

distributing: TRUE

expired: FALSE

Partner

system priority: 65535

system mac addr: 00:90:0b:68:3c:ba

port Admin key: 0

port Oper key: 9

port Oper number: 1

port Admin priority: 0

port Oper priority: 255

port Oper timeout: LONG

LACP Activity: ACTIVE

Aggregation: AGGREGATABLE

synchronization: TRUE

collecting: TRUE

distributing: TRUE

expired: FALSE

gi1/0/2 LACP statistics:

LACP Pdus sent: 18

LACP Pdus received: 18

gi1/0/2 LACP Protocol State:

LACP State Machines:

Receive FSM: Current State

Mux FSM: Collecting Distributing State

Periodic Tx FSM: Slow Periodic State

Control Variables:

BEGIN: FALSE

LACP_Enabled: TRUE

Ready_N: FALSE

Selected: SELECTED

Port_moved: FALSE

NNT: FALSE

Port_enabled: TRUE

Timer counters:

periodic tx timer: 11

current while timer: 88

wait while timer: 0