Apache Pulsar

Apache Pulsar — это распределенная платформа для обмена сообщениями и потоковой обработки данных. Она используется для построения event-driven архитектур, очередей, стриминга логов и интеграции микросервисов.

В панели управления кластером вы можете развернуть Apache Pulsar как готовый аддон: в кластере автоматически создадутся все необходимые компоненты — брокеры сообщений, хранилище данных, координаторы, прокси и система мониторинга.

Установка

Перед установкой Apache Pulsar убедитесь, что в кластере установлены:

• CSI-driver — обязателен, используется для подключения сетевых дисков к BookKeeper и ZooKeeper.

• Достаточное количество воркер-нод — по умолчанию кластер создается как отказоустойчивое решение. Для запуска необходимо не менее 4 воркер-нод с характеристиками: 4 CPU, 8 ГБ RAM, 120 ГБ NVMe.

Для установки откройте раздел «Дополнения» в панели управления кластера и выберите «Apache Pulsar».

В открывшемся окне вы можете установить переключатель «Продвинутая установка» для редактирования параметров установки. Для тестирования можно оставить значения по умолчанию и нажать «Установить».

Для доступа к Grafana в настройках необходимо установить пароль. Укажите его в разделе:

При использовании параметров по умолчанию будут развернуты:

• ZooKeeper — координатор кластера;

• BookKeeper — распределенное хранилище сообщений;

• Pulsar Broker — обработка и маршрутизация сообщений;

• Pulsar Proxy — точка входа для клиентов;

• Recovery — восстановление реплик данных;

• VictoriaMetrics и Grafana — мониторинг кластера.

Настройка параметров

Основные компоненты

Состав кластера задается в блоке components:

Здесь можно включать или отключать отдельные сервисы Pulsar. Например, для тестового окружения можно оставить только ZooKeeper, BookKeeper, Broker и Proxy.

Количество реплик

Основные сервисы масштабируются через параметры replicaCount:

• ZooKeeper отвечает за координацию и должен иметь нечетное количество реплик.

• BookKeeper хранит данные сообщений и определяет отказоустойчивость кластера.

• Broker и Proxy масштабируются для распределения нагрузки между клиентами.

Хранилище данных

Pulsar использует сетевые диски для хранения всех сообщений. Томами управляют StatefulSet ZooKeeper и BookKeeper.

Пример PVC для BookKeeper:

Пример PVC для ZooKeeper:

Все тома создаются с классом nvme.network-drives.csi.timeweb.cloud. При необходимости его можно заменить на другой тип хранилища.

Сетевые диски появятся в панели управления в разделе «Сетевые диски» и будут использоваться для сохранения данных при перезапуске подов.

Мониторинг

Аддон автоматически устанавливает стек мониторинга VictoriaMetrics и Grafana:

В Grafana уже созданы дашборды Pulsar, показывающие:

• количество сообщений;
• нагрузку на брокеры;
• задержки доставки;
• использование дисков BookKeeper.

После установки

Проверьте состояние подов:

В рабочем состоянии вы увидите:

• несколько подов pulsar-zookeeper-*;
• несколько подов pulsar-bookie-*;
• pulsar-broker-* и pulsar-proxy-*;
• поды мониторинга.

Пример вывода:

Доступ к Grafana

Чтобы открыть Grafana, выполните:

После этого Grafana будет доступна по адресу http://localhost:3000.

В разделе «Dashboards» → «Pulsar» можно просматривать состояние кластера и поток сообщений в реальном времени.