Объединение проектов с разных площадок

Развитие облачных технологий привело к возникновению совершенно нового подхода к способам хранения и передачи данных. И главным вопросом стало построение надежных каналов связи между дата-центрами и их клиентами. Долгое время объединение локальных сетей, расположенных в удаленных дата-центрах, осуществлялось на уровне коммутации L2. Однако в последние годы существенное увеличение серверной базы и связанного с ней серверного оборудования привело к тому, что чистые L2-проекты уже не могут эффективно решать задачи по объединению локальных сетей через интернет. Для этого современные дата-центры задействуют схемы L3. Знание того, как устроены современные локальные сети, поможет лучше понять технологии их объединения. Поэтому для начала разберемся, чем различаются каналы связи L2 и L3.

Об уровнях управления сетевой инфраструктурой

Когда провайдер говорит вам о коммутаторах уровня агрегации L2 или L3, это значит, что задействуется управление на канальном или сетевом уровнях. Поясним и начнем с самого первого уровня управления.

• L1, физический уровень управления сетевой инфраструктурой. Этот тип передачи данных не затрагивает саму информацию, то есть устройства физического уровня «не умеют» работать с данными, ведь механизм их работы построен на приеме и передаче электрических сигналов. Принимая такой сигнал, устройства L1 затем транслируют его дальше, распространяя по доступным портам, то есть работают они по шинному принципу. Именно так передавалась информация в первых сетях Ethernet.
• L2, канальный уровень управления сетевой инфраструктурой. Физический уровень не дает нужной гибкости в передаче данных, поэтому были разработаны коммутаторы уровня L2, которые могут производить адресацию, то есть перенаправлять информацию туда, куда нужно. Для этого используется система MAC-адресов. Устройства «узнают» отправителей и адресатов по MAC-адресам, что обеспечивает целенаправленный обмен данными. Собственно говоря, именно приемопередатчики уровня L2 и можно назвать первыми коммутаторами локальных сетей. В отличие от устройств первого уровня, они способны избирательно передавать данные в рамках локальной сети. Эти сети организованы на основе специальной логической топологии, когда пакеты данных передаются только конкретным адресатам. Такой тип схемы локальных сетей называется «Звезда».
• L3, сетевой уровень управления сетевой инфраструктурой. Устройства, работающие на этом уровне, принято называть маршрутизаторами, хотя встречается и обозначение коммутатор L3. Однако механизмы передачи данных на этом уровне более совершенные. Здесь используются протоколы маршрутизации, которые основаны на принципе логической адресации, то есть в данном случае при передаче данных возможен выбор маршрута. По L3 сейчас работают почти все крупные предприятия, и именно эту технологию задействуют ЦОД (центры обработки данных) и облачные провайдеры при объединении проектов. Добавим, что коммутационные устройства уровня L3 используют как для построения узлов агрегации, так и для сегментации сетей, а также в качестве маршрутизаторов для связи сегментов. Это обеспечивает гибкость в управлении сетевой инфраструктурой, повышая ее безопасность и отказоустойчивость.

Также при подробном рассмотрении уровней управления инфраструктурой и проблем, связанных с ними, нам понадобится описывать типы трафика (unicast, multicast и broadcast). Они различаются количеством адресатов:

• unicast — пакеты данных отправляются одному конкретному хосту;
• multicast — пакеты данных отправляются ограниченному количеству хостов;
• broadcast — пакеты данных отправляются всем сетевым хостам.

L2, L3 и L2+

Выбор технологического решения иного уровня при расширении инфраструктуры может показаться клиенту нецелесообразным из-за дополнительных финансовых вложений. Это привело к возникновению промежуточных решений, которые могут удовлетворить запросы ряда предприятий.

L2+ — это промежуточный уровень между коммутацией и полноценной маршрутизацией. Устройства L2+ оснащаются дополнительными функциями, что подходит в тех случаях, когда возможностей L2 уже не хватает, а использование L3 нецелесообразно по финансовым соображениям или в этом просто нет необходимости.

К дополнительным функциям относят, например, поддержку статической маршрутизации. Кроме того, устройства L2+ используют для объединения коммутаторов в единые логические блоки (стеки), что обеспечивает повышение уровня отказоустойчивости и делает управление более согласованным. Также коммутаторы L2+ могут обеспечивать более безопасную работу сети, если это необходимо.

Заблуждения о схемах L2 и L3

Основных заблуждений два, и первое состоит в том, что скорость передачи данных зависит от используемой технологии. На самом деле это не так, и всё определяется характеристиками оборудования. Поэтому L2 может быть быстрее L3, если, например, задействуются более широкие каналы связи. Кроме того, сами коммутаторы L2 тоже могут иметь достаточно впечатляющие характеристики, а устройства L3, помимо своей основной функции, параллельно выполняют несколько других задач: например, управляют VLAN или анализируют ACL. А значит, нельзя делать выводы о большей или меньшей мощности только по уровню управления.

Во-вторых, нельзя говорить о том, что устройства L3 являются полной заменой L2, поскольку всё зависит от конкретных задач. Так, коммутаторы Л2 до сих пор являются самыми востребованными при организации локальных сетей с пользовательским доступом, а для решения задач горизонтального масштабирования нередко задействуют и устройства L2+. Что касается уровня L3, то его целесообразно использовать при объединении сетей, находящихся в разных дата-центрах, и сейчас мы расскажем, почему.

Проблемы объединения сетей по схеме L2

При объединении серверов в рамках локальной сети в пределах одного ЦОД обычно задействуют коммутаторы агрегационного уровня, при этом коммутаторы доступа располагаются в серверных стойках. Крупные облачные провайдеры обеспечивают клиентов выделенным оборудованием, что позволяет использовать локальную сеть независимо от интернета. То есть отсутствие доступа в интернет не станет проблемой для работы, а поскольку серверы объединены в рамках одного дата-центра, физическое расположение сервера не имеет значения.

Однако с ростом сетевой инфраструктуры за пределы одного дата-центра появляется потребность объединения серверов и сетей хранения данных для их согласованного управления по иному принципу. И причиной такого решения являются ограничения схемы L2, которые перечислены ниже.

Недостатки локальных сетей при управлении по схеме L2

При небольших размерах дата-центра вполне достаточно устройств, работающих по схеме L2, однако с ростом инфраструктуры (больше данных, клиентов, а соответственно, стоек, серверов и коммутационного оборудования) компании вынуждены задумываться об изменении схемы устройства локальной сети. Поэтому предприятию приходится размещать серверы в разных дата-центрах из-за нехватки стоек и для повышения отказоустойчивости системы. Но здесь возникает проблема связности между дата-центрами, физически находящимися в разных местах.

Первое время такая связность обеспечивалась по схемам L2 VLAN. Однако идентификаторы виртуальной сети 4095 VLAN ID имеют ограниченный набор значений: это 12-битные значения от 0 до 4095. И поскольку для каждого дата-центра задействуется свой набор значений, это существенно сокращает число свободных ID для использования между дата-центрами.

Следующая проблема — некорректная работа STP. Такое случается, в основном, на стороне клиента, когда используется неисправное или неправильно настроенное оборудование. И даже применение расширенного STP не помогает справиться с этой ситуацией из-за невозможности достаточного масштабирования протокола.

Также при использовании оборудования уровня L2 и L2+ могут возникать и другие проблемы, связанные с различными типами трафика.

• Широковещательные штормы (Broadcast storms). Они возникают по причине «зацикливания» коммутаторов. Последние отправляют пакеты данных во все доступные порты. Но случается так, что ответа от адресата нет, в результате чего пакет данных возвращается отправителю, а тот начинает рассылку снова. При этом несколько коммутаторов могут замкнуться в кольцо. В результате объемы пересылаемых данных возрастают экспоненциально, и сеть «ложится». Также broadcast-трафик может становиться причиной нарушения связности сети при включении портов. Чтобы этого не происходило, нужно избегать ситуаций с созданием мостов между несколькими портами и следить за настройками серверного ПО, а также за состоянием сетевой карты.
• Неправильная обработка multicast-трафика. Возникает при нарушении IP-связности или из-за ошибок в работе серверного ПО или коммутатора. На появление этих проблем может влиять человеческий фактор, особенно при работе целой команды поддержки сети, что неизбежно при наличии более-менее разветвленной инфраструктуры. Минимизировать ошибки сотрудников можно при наличии четких инструкций и указаний. Так, сетевые администраторы должны строго следить за тем, что они корректно вводят номера портов, VLAN ID, а также любые другие числовые значения, отвечающие за настройку сетевого оборудования.
• Проблемы unknown-unicast. Эта проблема заключается в том, что пакеты данных, предназначенные для отправления на конкретный IP, начинают передаваться по всем доступным портам. Причин возникновения такой ситуации может быть несколько, а чаще всего это DDoS или банальные опечатки при указании IP в настройках конфигурации. Проблема усугубляется тем, что если некорректная обработка broadcast- и multicast-трафика случается из-за внутренних ошибок локальной сети (примеры были приведены выше), то ошибки с unicast-трафиком могут быть спровоцированы извне. Последнее часто возникает из-за некорректной настройки пограничных маршрутизаторов. Но и это не всё: при использовании различных систем виртуализации в десятки раз уменьшается количество свободных MAC-адресов, что может вызвать ошибки в работе коммутаторов. Так, в ряде случаев переполняется таблица коммутации, а коммутатор при этом может не поддерживать функцию самовосстановления. В результате коммутатор перезагружается, что влечет за собой временную остановку работы всех серверов, которые располагаются в этой же стойке.

Проблемы резервирования ресурсов

Для развития сетевой инфраструктуры в рамках одного дата-центра схема L2 выглядит хорошим решением. Разделение front end и back end, использование отдельного сервера под СУБД — всё это легко реализуется в данной схеме. По сути, применяется горизонтальное масштабирование с постепенным включением в сеть новых серверов и подключением новых стоек. Далее подключаются резервные мощности, при этом никаких проблем с маршрутизацией у сетевых администраторов не возникает: всё решается простым добавлением новых IP-адресов.

Проблемы организации по схеме L2 начинаются при расширении сети за пределы одного дата-центра и использовании новых технологий (например, виртуализации). В этом случае горизонтальное масштабирование приводит к тому, что при возникновении ошибок на стороне одного дата-центра становится недоступным и другой, а это делает невозможным использование сетевых ресурсов сразу всеми клиентами. Кроме того, возникает проблема резервирования всей структуры VLAN: коммутаторов агрегации, кабелей и других потенциальных точек отказа. Всё это приводит к значительному увеличению затрат на серверное оборудование, а также к усложнению всей схемы, и добавляет дополнительные трудности в обслуживании сети.

Использование STP для резервирования также становится невозможным из-за ограничений этого канального протокола. Решением может стать использование протокола MPLS на L2, однако внедрение этой технологии обычно приводит к двукратному увеличению расходов на новое оборудование. В связи с этим более разумным решением выглядит переход со схемы L2 на приватную сеть L3, ведь в этом случае придется докупать значительно меньшее количество устройств, а сеть будет работать намного стабильнее.

Принцип работы L3-маршрутизации

Избежать резервирования каждого устройства в сети L2 можно, задействовав протоколы динамической маршрутизации, по которым работают маршрутизаторы уровня L3. Также здесь реализуется принцип избыточной маршрутизации. При этом внутри каждого дата-центра по-прежнему будут задействованы коммутаторы L2 и L2+, а оборудование L3 будет использоваться только для обеспечения связности между дата-центрами.

При такой схеме для резервирования потребуется значительно меньшее количество устройств, ведь маршрутизация между дата-центрами эмулируется. Фактически понадобится только два маршрутизатора, каждый из которых будет выступать в качестве резервного для другого — благодаря избыточности динамической маршрутизации. Поэтому, если дата-центров несколько (3 или более), то при наличии проблем в одном из них маршрутизация уровня L3 обеспечит связность остальных.

Также схема L3 дает возможность задействовать отдельное пространство VLAN для каждого дата-центра и позволяет надежно изолировать друг от друга сети клиентов. При этом для каждого клиента можно задействовать определенные диапазоны IP-адресов, которые рекомендуется задавать из повторяющихся сегментов во избежание ошибок при прописывании IP-адресов в конфигурациях.

Хорошо себя показывает схема L3 и в тех случаях, когда нужно соединить серверы, работающие по разным технологиям (например, аппаратные и облачные). В этом случае ошибки, которые возникают на одном сервере, не станут причиной отказа всей системы.

Вместо заключения

Итак, перевод локальной сети с уровня организации L2 на L3 сохраняет способность сети к масштабированию и при этом значительно повышает стабильность работы и ее катастрофоустойчивость. Кроме того, решается проблема резервирования потенциальных точек отказа. Поэтому, если вы планируете развивать свою сетевую инфраструктуру и выходить за рамки одного дата-центра, заранее подумайте о переходе на виртуальную приватную сеть L3, чтобы затем не пришлось столкнуться с невозможностью дальнейшего масштабирования сети.