Проект инфраструктуры оператора связи высокой степени отказоустойчивости сервиса. Ядро телефонии. Узел ОТУМС и ТЗУС
Задачи:
- Модернизировать существующий коммутатор телефонии для повышения отказоустойчивости сервиса.
- Обеспечение работы сервиса при следующих показателях нагрузки:
- Не менее 1 000 одновременных транзитных телефонных соединений.
- Не менее 5 000 регистраций абонентских терминалов.
- Возможность расширить ресурсы обработки телефонного трафика на 30%.
- Не мене 100 CPS (Сall peer Second – вызовов секунду) на каждый элемент обработки сигнального трафика.
- Защиту от перегрузки и злонамеренных атак на инфраструктуру ядра голосового сервиса.
- Разработать новую схему предоставления сервиса с учетом резервирования:
- Управления программным коммутатором (Softswitch).
- Центров обработки сигнальной информации.
- Центров обработки медиа трафика.
- Точек подключения абонентской сети и присоединенных операторов связи.
- Протоколов и типов транспорта подключения локаций абонентов оператора связи.
- Организовать возможность подключения нового голосового коммутатор к ПУ СОРМ (268 приказ). Подготовить маршрутизацию и возможность отбора телефонных номеров ОТУСМ на контроль. Пройти тестирование, результатом которого будет подписанный план ОРМ на сети оператора связи.
- Реализовать сокрытие и защиту топологии голосового сервиса оператора связи для подключения абонентов по протоколу SIP/SIP-T.
- Подготовка материалов для упрощенной регистрации сети связи в Роскомнадзор.
- Срок реализации 6 месяцев (зависит от подписания договоров с присоединенными операторами МгМн для организации ТЗУС).
Вводные технические условия (ТУ) на реализацию проекта:
- Сохранение существующих точек присоединения абонентских локаций.
- Интеграция нового ядра сервиса с сетью оператора связи.
- Сохранение существующих сервисов для абонентов оператора связи.
- Необходимость учесть настройки абонентских окончаний с целью исключения их переконфигурирования со стороны заказчика.
- Отсутствие проприетарных (закрепленных за производителем) протоколов обмена трафиком и других способов взаимодействия между сетями оператора связи, присоединенных операторов, а также абонентских окончаний (телефонных станций, аппаратов) и транспортного оборудования абонентов оператора связи.
- Обеспечение совместимости с оборудованием Cisco, Huawei, Iskratel, ZTE, Nortel, MTA (SS, M200).
- Дублирующий стенд (тестовая инфраструктура) для проверки и тестирования обновления ПО (программного обеспечения) голосового коммутатора.
Обеспечение инфраструктуры со стороны оператора связи:
- Территориально разнесенные точки инсталляции центров обработки сигнализации и медиа трафика.
- Связность локаций по оптическим линиям связи замкнутых кольцом с использованием разных (не пересекающихся) кабельных систем.
- Электропитание 1 категории особой группы: два независимых ввода из разных микрорайонов города, ДГУ (дизель-генераторная установка) и запас АКБ для не менее 4 часов автономной работы из расчетов потребления всех элементов ядра голосового сервиса.
Реализация
Планируем сопряжение абонентских и операторских подключений к новому ядру голосового сервиса.
Для реализации проекта был организован сбор данных о существующих особенностях подключения абонентов оператора связи.
Сервис подключения абонентских устройств предоставляется с помощью технологии TDM по протоколам сигнализации (E)DSS. В качестве транспортной сети использовались мультиплексоры SDH и TDMoP Eltex TopGate шлюзы для «проброса» потока E1 по транспортной сети передачи данных. Базовая потребность для включения абонентской сети через Е1 определилась в количестве 54 портов в различных точках сети оператора связи.
Также была определена потребность в TDM портах для присоединения к операторам МгМн связи и сетям зоновой связи. Все вместе потребовало еще 17 потоков Е1.
Исходя из суммарных потребностей, нам понадобится по крайней мере 5 шлюзов SMG-2016. В качестве простого конвертера сигнализации подошли бы и более дешевые SMG-1016M, но заказчик отказался по ряду причин. Также был вариант использовать SIGTRAN протокол на SMG-2016, чтобы обработку сигнализации производить полностью на Softswitch ECSS-10. Но от этого варианта заказчик тоже отказался в пользу универсальности решения и возможности использования SIP протокола на шлюзах (к сожалению, на текущий момент времени (август 2020 года) на SMG-2016/3016 работает либо SIP, либо SIGTRAN протокол).
Были определены их стандартные аппаратные конфигурации:
- 4 платы М4Е1 (максимум, по 4 потока Е1 каждая).
- 4 платы SM-VP-300 (из 6 возможных, но достаточных для роли транзитного шлюза, так как покрывают полностью количество СЛ (соединительных линий) через платы М4Е1).
- Два блока питания разного типа (220В переменного и 48В постоянного тока).
Также нам необходимо предусмотреть один шлюз, через который будет осуществляться работа ПУ СОРМ с голосовым коммутатором. На нем необходимо добавить лицензию для работы SORM-mediator и один дополнительный VOIP модуль, так как он будет полностью зарезервирован под работу SORM-mediator`а.
В данном проекте SMG-2016 будут выполнять роль конвертера сигнальных и медиа потоков из одного типа транспортной сети в другой. За счет этого мы можем переносить нагрузку поэтапно со старого голосового коммутатора на новый Softswitch ECSS-10, мы можем безболезненно, в большинстве случае и вовсе без полной деградации сервиса для абонентов оператора, переключать абонентские присоединения.
Аппаратная платформа для Softswitch ECSS-10
Исходя из того, что у нас есть требование на активное резервирование, а значит любой из серверов должен выдержать полную нагрузку в случае отказа соседнего, была выбрана следующая конфигурация каждого сервера:
- 2x Xeon E5-2630 v3 8C @2.4Ghz.
- 64Gb DDR4 REG ECC.
- HW RAID1 на 2x SSD 240Gb (минимальный рекомендуемый нами объем для транзитного узла связи).
- Минимум 2x Ethernet интерфейса, один из которых оптический.
- Два блока питания (в нашем случае ещё и разного типа – постоянного и переменного тока).
Объединение площадок с «половинками» Softswitch ECSS-10
В качестве коммутаторов и как единое комплексное решение от производителя ECSS-10 были выбраны коммутаторы Eltex MES3324F. К коммутаторам, на которых выстраивается ядро голосового сервиса, предъявляется ряд требований. Прежде всего они касаются поддержки ряда технологий, которые обеспечивают стэкирование (объединение) их в один логический коммутатор, для поддержки протоколов агрегации каналов (LACP, 802.3ad) и VRRP. Ввиду отсутствия особых требований к проприетарным протоколам для функционирования ECSS-10 на сети передачи данных, возможно использовать любые коммутаторы, поддерживающие описанные выше стандартные протоколы, в том числе и уже использующиеся на сети оператора связи.
В реализуемом проекте, исходя из топологии оптической сети и количества важных площадок, объединили коммутаторы в кольцо на трех технологических площадках оператора. Площадки были выбраны исходя из наличия независимых кабельных вводов ВОЛС, требуемого качества электропитания, большого количества присоединений с операторами связи, наличия элементов AS (автономной системы) оператора и существующей сети SDH мультиплексоров, которые отдавались абонентские потоки и STM1 стыки с заказчиками оператора связи.
Серверы для ECSS-10 были подключены локально медными патч-кордами к одному физическому коммутатору и оптическим портом на встречную площадку к другому коммутатору. Оба линка от каждого сервера были объединены с помощью протокола агрегации линков (Link Aggregation Control Protocol, LACP), описанном в стандарте IEEE 802.3ad, в режиме резервирования. Это обеспечило резервирование каналов подключения серверов, обрабатывающих сигнальный и медиа трафик, а также коммутатора на локальной для сервера площадке, в случае отказа которого, сервер просто продолжит работать с удаленным коммутатором без деградации сервиса.
Также на площадках со стеком коммутаторов была размещена основная масса Eltex SMG-2016. Так как включить их по аналогии с серверами на разные площадки от оператора бы потребовалось большого количества оптических волокон, то SMG-2016 подключили к локальному коммутатору двумя патч-кордами с агрегацией каналов по протоколу LACP.
Потоки Е1 были «расшиты» на DDF кросс SDH мультиплексоров. В данном случае SDH транспорт уже был объединен кольцевой топологией с другими площадками, что обеспечивало очень качественный G.703 транспорт с резервированием направлений. В случае обрыва оптического канала между SDH мультиплексорами переключение направления потоков происходит настолько мгновенно, что абоненты, чьи установленные разговорные каналы шли по оборванному участку, не замечают перестроения транспортной сети во время разговора – достоинство технологии, но за которое приходится дорого платить (недешевое оборудование и утилизация оптических волокон только под сеть SDH при низкой, стремительно падающей популярности этой технологии).
Подключение операторов, ПУ СОРМ и абонентских потоков происходит в SDH мультиплексоры, через которые уже распределяются с резервированием G.703 транспорта до каждого шлюза.
По аналогии были расставлены на площадки и пограничные контроллеры сессий Eltex SBC-2000. Элементы AS на площадке нужны были именно для резерва доступа к сети Интернет.
Транспортная сеть для сервиса полностью готова и отвечает всем требованиям отказоустойчивости.
Архитектура логического сервиса голосовой сети связи
Программный коммутатор ECSS-10, собранный в кластер на нескольких серверах, по умолчанию работает в active-active режиме резервирования сервиса. Это значит, что обработкой сигнализации, распределением медиа потоков, маршрутизацией и другими службами и сервисами телефонии как услуги, занимаются сразу оба сервера. Внутренние механизмы самостоятельно определяют какая из частей кластера Softswitch`a обслуживает вызов, но в случае отказа одного из элементов кластера, сессии будут «пересогласованы» для обслуживания на оставшихся в работе элементах кластера.
В текущем проекте использовалось всего два сервера, что минимально и недостаточно для построения независимого ядра обработки голосового трафика.
На каждом из серверов размещаются следующие элементы Softswitch ECSS-10:
Ядро обработки маршрутизации и внутренних сервисов ECSS-10.
- Распределенное хранилище внутренней базы данных и медиа-файлов (факсов, файлов IVR, записей разговоров и др.).
- Служба поддержки кластера.
- MSR (медиа-сервер).
- Протокол-адаптер (в данном случае только SIP, но возможно также H323, SIGTRAN и др.)
- Службы сбора статистической и диагностической информации.
- MySQL сервер с master-master репликацией между двумя серверами ECSS-10.
- Служба телеконференций.
- Система управления ECSS-10 (WEB и CLI менеджмент).
- Абонентский портал для управления профилями абонентов.
В сетях операторов связи с более сложной топологией транспортной сети и локализацией большого пула абонентов на удаленных участках транспортной сети возможна установка медиа-серверов и, при необходимости, протокол-адаптера для обслуживания сигнализации и медиа потоков «ближе» к удаленных участкам транспортной сети (для сокращения пути и объемов трафика проходящих по транспортной сети), в то время как логика сервиса (маршрутизация, ДВО, IVR, управление) продолжит обрабатываться в ядре сервера оператора связи.
На текущем этапе внедрения RADIUS маршрутизация и аккаунтинг (сбор детализации о вызовах - CDR) не требовались, так как это напрямую зависит от логики и архитектуры маршрутизации внутри Softswitch ECSS-10.
При планировании организации базового варианта маршрутизации трафика, было принято решение организовать несколько доменов, которые в свою очередь представляют собой ВАТС (Виртуальные АТС) со своими набором правил маршрутизации, параметрами медиа сервера, набором внешних и внутренних интерфейсов для обмена трафиком с присоединенными операторами, абонентами и между другими ВАТС внутри Softswitch ECSS-10.
- На основной домен (ВАТС) были возложены следующие роли:
- Присоединение операторов связи через внешние SIP-T интерфейсы между ECSS-10, SBC-2000 (куда присоединяются операторы по протоколу SIP/SIP-T) и SMG-2016 (где происходит преобразование сигнальных и медиа потоков из TDM сетей в SIP).
- Присоединение абонентских ВАТС через внутренние интерфейсы (bridge) между ВАТС.
- Маршрутизация между операторами связи, абонентскими ВАТС, транзитным трафиком через данный узел связи.
- Сбор CDR данных.
- Подключение к ПУ СОРМ.
- Управление и мониторинг для внутренних служб оператора связи (в зависимости от уровня компетенции и допусков).
- На абонентские ВАТС, в зависимости от предоставляемого сервиса абоненту, отошли следующие задачи:
- Присоединение абонентских включений через SMG-2016 или SBC-2000.
- Распределение, контроль и фильтрация абонентской нумерации.
- Нормализация номеров вызываемого, вызывающего, переадресации и других параметров сигнализации в запросах на установку соединения.
- Работа служб IVR, ДВО, возможность терминировать вызов непосредственно в домене с последующей обработкой.
- Управление и мониторинг для внутренних служб оператора связи или технических служб абонента (в зависимости от роли и назначения ВАТС) – предоставление ограниченного доступа младшему техническому составу оператора связи или техническим службам абонентов, которые хотели бы управлять распределением телефонной емкости между своими технологическими площадками.
За счет гибкости маршрутизации ECSS-10 без проблем организуются пути пропуска трафика в маршрутизации, чтобы обеспечить сбор CDR и работу СОРМ в «корневом» домене (ВАТС), даже если абонент совершает вызовы внутри выделенного ему пула нумерации, что в обычной ситуации произошло бы внутри ВАТС абонента.
При организации присоединений к операторам связи и подключение абонентских станций неизбежно возникает проблема нормализации и приведения формата телефонного номера к единому плану нумерации, чтобы маршрутизация не была излишне запутанной и трудно диагностируемой в случае появления проблем с пропуском трафика. Эти проблемы решаются несколькими механизмами, имеющими свои особенности в зависимости от требуемого результата:
- Модификация и адаптация формата номеров и других параметров сигнализации непосредственно при маршрутизации вызова.
- Модификация формата номеров и других параметров сигнализации при входе и выходе в поле обработки маршрутизации (модификация на логических интерфейсах).
- Адаптация формата номеров для службы сбора CDR и подсистемы СОРМ.
Это все, что было необходимо учесть и настроить для запуска сервиса на нового голосовом коммутаторе.
Планирование работ по переключению услуг со старого голосового коммутатора на SoftSwitch ECSS-10
Так как организация ТЗУС происходила параллельно интеграции нового голосового коммутатора, то присоединение МгМн операторов связи происходило сразу на ECSS-10.
Для пропуска трафика абонентов в ССОП (сеть связи общего пользования) через вновь присоединяемых операторов, был организован пул транков между ECSS-10 и старым голосовым коммутатором помощью шлюзов SMG-2016.
После того как весь телефонный трафик с присоединенными операторами был организован только через ECSS-10, появилась возможность провести подготовку, тестирование, испытание и подписать план ОРМ с УФСБ. Старое присоединение к ПУ СОРМ было «разобрано» и осталось только новое к ECSS-10. Благодаря чему стало возможно переносить абонентские присоединения на ECSS-10.
Абонентские присоединения с помощью матриц коммутации SDH мультиплексоров постепенно переносились со старого коммутатора на шлюзы SMG-2016, а вопрос сохранения связности между разделенными пулами телефонных номеров решался с помощью маршрутизации между старым и новым коммутатором.
Все потоки были распределены между разными SMG-2016, что в свою очередь дало дополнительный резерв точек включения абонентов.