クラスターアーキテクチャ

EMQX 5.0 から、新しい Mria クラスターアーキテクチャと再設計されたデータレプリケーション機構が導入されました。これにより、EMQX の水平スケーラビリティが大幅に向上し、単一の EMQX 5.0 クラスターで最大1億の MQTT 接続をサポートできる重要な要素となっています。

本ページでは、新しいアーキテクチャにおける EMQX クラスターのデプロイモデルと、デプロイ時の主要な考慮事項について紹介します。自動化されたクラスターのデプロイについては、EMQX Kubernetes Operator および EMQX Core と Replicant ノードの設定 のガイドを参照してください。

前提知識

まずは EMQX クラスタリング をお読みになることを推奨します。

Mria アーキテクチャ概要

Mria は Erlang のネイティブデータベースである Mnesia のオープンソース拡張であり、最終的整合性を実現するデータレプリケーションを可能にします。非同期トランザクションログレプリケーションを有効にすると、ノード接続トポロジーは Mnesia の フルメッシュ モデルから Mria の メッシュ＋スター ハイブリッドトポロジーに変わります。

ノードの役割説明

クラスター内のノードは、コアノードとレプリカントノードの2つの役割に分類されます。

コアノード

コアノードはクラスターの完全なメッシュデータレイヤーを形成します。各コアノードはデータの完全かつ最新のレプリカを保持し、フォールトトレランスを保証します。すなわち、1つでもコアノードが稼働していればデータは失われません。コアノードは一般的に静的かつ永続的であり、自動スケーリング（頻繁な追加、削除、置換）は推奨されません。

レプリカントノード

レプリカントノードはコアノードに接続し、そこからのデータ更新を受動的にレプリケートします。書き込み操作は許可されず、すべての書き込みはコアノードに転送されて処理されます。ローカルに完全なデータコピーを持つため、レプリカントは高速な読み取りアクセスと低いルーティングレイテンシを提供します。

Mria アーキテクチャの利点

Mria アーキテクチャはリーダーレスレプリケーションとマスター・スレーブレプリケーションの強みを組み合わせ、以下のような利点を提供します。

• 水平スケーラビリティの向上：EMQX 5.0 は最大23ノードの大規模クラスターをサポートします。
• クラスターの自動スケーリングの簡素化：レプリカントノードは動的に追加・削除でき、自動スケーリングに対応します。

EMQX 4.x ではすべてのノードがフルコネクトトポロジーを使用していたため、ノード数の増加に伴い同期オーバーヘッドが増大していましたが、EMQX 5.0 ではレプリカントノードを読み取り専用にすることでこの問題を回避しています。レプリカントが増加しても書き込み効率は影響を受けず、より大規模なクラスターの形成が可能です。

さらに、レプリカントノードは使い捨て可能であり、データ冗長性に影響を与えずにスケールイン・アウトが容易です。これにより、自動スケーリンググループに最適であり、DevOps の運用も改善されます。

注意：データセットが大きくなると、コアノードから新しいレプリカントへの初期データ同期がリソース集約的になる可能性があります。レプリカントノードの自動スケーリングポリシーは過度に積極的にしないよう注意してください。

デプロイメントアーキテクチャ

デフォルトではすべてのノードがコアノードの役割を担い、クラスターは EMQX 4.x と同様に動作します。これは7ノード以下の小規模クラスターに推奨されます。コア＋レプリカントモードはクラスターが7ノードを超える場合にのみ推奨されます。

注意

コア＋レプリカントクラスターアーキテクチャは EMQX Enterprise のみで利用可能です。オープンソース版はコアのみのクラスターをサポートします。

推奨

クラスターには少なくとも1つのコアノードを含める必要があります。ベストプラクティスとしては、3つのコアノード＋N個のレプリカントノードで開始することを推奨します。

ノードの役割割り当ては、実際のビジネス要件と想定されるクラスター規模に基づいて決定してください。

シナリオ	推奨デプロイメント
小規模クラスター（7ノード以下）	コアのみモードで十分。すべてのノードが MQTT トラフィックを処理。
中規模クラスター	コアノードが MQTT トラフィックを処理するかはワークロード次第。最適な結果を得るためにテスト推奨。
大規模クラスター（10ノード以上）	コアノードはデータベースレイヤーのみを担当。レプリカントノードがすべての MQTT トラフィックを処理し、安定性とスケーラビリティを最大化。

コア＋レプリカントモードの有効化

コア＋レプリカントモードを有効にするには、特定のノードをレプリカントノードとして指定する必要があります。これは node.role パラメータを replicant に設定することで実現します。加えて、自動クラスター ディスカバリーストラテジー (cluster.discovery_strategy) を有効にする必要があります。

TIP

レプリカントノードは manual ディスカバリーストラテジーを使用してコアノードを検出できません。

設定例：

node {
    ## ノードをレプリカントノードに設定する場合：
    role = replicant
}
cluster {
    ## 静的ディスカバリーストラテジーを有効化：
    discovery_strategy = static
    static.seeds = [emqx@host1.local, emqx@host2.local]
}

ネットワークおよびハードウェア要件

ネットワーク

• コアノード間のネットワークレイテンシは10ms未満が望ましい。100msを超えるとクラスター障害の原因となる可能性があります。
• コアノードは同一のプライベートネットワーク内に配置することを強く推奨します。
• レプリカントノードもコアノードと同じプライベートネットワークに配置すべきですが、ネットワーク品質の要件はやや緩やかです。

CPU とメモリ

コアノードはメモリを多く必要としますが、クライアント接続を処理していない場合は CPU 使用率は比較的低いです。レプリカントノードは EMQX 4.x と同様のハードウェアサイズを推奨し、メモリ要件は想定される接続数とメッセージスループットに基づいて見積もってください。

監視とデバッグ

Mria のパフォーマンスは Prometheus メトリクスや Erlang コンソールで監視可能です。

Prometheus指標

Prometheus と連携してクラスターの動作を監視できます。Prometheus との連携方法は ログと可観測性 - Prometheus 連携 を参照してください。

コアノード

指標名	説明
emqx_mria_last_intercepted_trans	ノード起動以降にシャードが受信したトランザクション数
emqx_mria_weight	コアノードの瞬間的な負荷
emqx_mria_replicants	コアノードに接続しているレプリカントノード数（シャードごとに集計）
emqx_mria_server_mql	レプリカントノードに送信待ちのトランザクション数。少ないほど良い。 この値が増加傾向にある場合は、コアノードを増やす必要があります。

レプリカントノード

指標名	説明
emqx_mria_lag	レプリカントが上流のコアノードにどれだけ遅れているかを示す。少ないほど良い。
emqx_mria_bootstrap_time	レプリカントノードの起動時間。正常稼働時は安定しているべき値。
emqx_mria_bootstrap_num_keys	起動時にコアノードからコピーされたデータベースレコード数。正常稼働時は安定しているべき値。
emqx_mria_message_queue_len	メッセージレプリケーション時のキュー長。0付近が望ましい。
emqx_mria_replayq_len	レプリカントノード内部のリプレイキュー長。少ないほど良い。

コンソールコマンド

Erlang コンソール上で emqx eval 'mria_rlog:status().' コマンドを実行することで、クラスターの稼働状況を監視できます。

EMQX クラスターが正常に稼働している場合、現在のログレベル、処理済みメッセージ数、破棄されたメッセージ数などのステータス情報一覧が取得できます。