クラスターアーキテクチャ

EMQX 5.0から、新しいMriaクラスターアーキテクチャが導入され、データレプリケーション機構も再設計されました。これによりEMQXの水平スケーラビリティが大幅に向上し、単一のEMQX 5.0クラスターで最大1億のMQTT接続をサポートできるようになった重要な要素の一つです。

本ページでは、新しいアーキテクチャにおけるEMQXクラスターのデプロイメントモデルと、デプロイ時の主な考慮点を紹介します。自動化されたクラスターのデプロイについては、EMQX Kubernetes OperatorおよびEMQXコアノードとレプリカントノードの設定のガイドを参照してください。

前提知識

まずはEMQXクラスタリングをお読みになることを推奨します。

Mriaアーキテクチャ概要

MriaはErlangのネイティブデータベースであるMnesiaのオープンソース拡張であり、最終的整合性を実現するデータレプリケーションを可能にします。非同期トランザクションログレプリケーションを有効にすると、ノード間の接続トポロジーはMnesiaのフルメッシュモデルからMriaのメッシュ＋スターのハイブリッドトポロジーに変わります。

ノードの役割説明

クラスター内のノードは、コアノードとレプリカントノードの2つの役割に分類されます。

コアノード

コアノードはクラスターの完全なメッシュ型データレイヤーを形成します。各コアノードはデータの完全かつ最新のレプリカを保持し、フォールトトレランスを確保します。つまり、1つのコアノードが稼働していればデータは失われません。コアノードは通常、静的かつ永続的であり、頻繁に追加・削除・置換されるオートスケーリングには推奨されません。

レプリカントノード

レプリカントノードはコアノードに接続し、そこからのデータ更新を受動的にレプリケートします。書き込み操作は許可されず、書き込みはすべてコアノードに転送されて処理されます。ローカルに完全なデータコピーを持つため、高速な読み取りアクセスと低いルーティングレイテンシを提供します。

Mriaアーキテクチャの利点

Mriaアーキテクチャはリーダーレスレプリケーションとマスター・スレーブレプリケーションの長所を組み合わせ、以下の主な利点を提供します。

• 水平スケーラビリティの向上：EMQX 5.0は最大23ノードの大規模クラスターをサポートします。
• クラスターのオートスケーリングの簡素化：レプリカントノードは動的に追加・削除でき、自動スケーリングを支援します。

EMQX 4.xではすべてのノードがフルコネクトトポロジーを使用していたため、ノード数の増加に伴い同期オーバーヘッドが増大していましたが、EMQX 5.0ではレプリカントノードを読み取り専用にすることでこの問題を回避しています。レプリカントノードが増えても書き込み効率は影響を受けず、より大規模なクラスターの形成が可能です。

さらに、レプリカントノードは使い捨て可能でスケールイン・アウトが容易な設計となっており、データ冗長性に影響を与えずにオートスケーリンググループに最適です。これによりDevOpsの運用も改善されます。

注意：データセットが大きくなると、コアノードから新しいレプリカントへの初期データ同期に多くのリソースを要する場合があります。レプリカントノードのオートスケーリングポリシーは過度に積極的にしないよう注意してください。

デプロイメントアーキテクチャ

デフォルトではすべてのノードがコアノードの役割を担い、クラスターはEMQX 4.xと同様の動作をします。これは7ノード以下の小規模クラスターに推奨されます。コア＋レプリカントモードはクラスターが7ノードを超える場合にのみ推奨されます。

注意

コア＋レプリカントクラスターアーキテクチャはEMQX Enterpriseでのみ利用可能です。オープンソース版はコアノードのみのクラスターをサポートします。

推奨

クラスターには最低1つのコアノードが必要です。ベストプラクティスとして、3つのコアノード＋N個のレプリカントノードで開始することを推奨します。

ノードの役割割り当ては、実際のビジネス要件と想定されるクラスター規模に基づいて行うべきです。

シナリオ	推奨デプロイメント
小規模クラスター（7ノード以下）	コアノードのみで十分。すべてのノードがMQTTトラフィックを処理。
中規模クラスター	コアノードがMQTTトラフィックを処理するかはワークロード次第。最適な結果を得るためにテストが必要。
大規模クラスター（10ノード以上）	コアノードはデータベースレイヤーのみ担当。レプリカントノードがすべてのMQTTトラフィックを処理し、安定性とスケーラビリティを最大化。

コア＋レプリカントモードの有効化

コア＋レプリカントモードを有効にするには、一部のノードをレプリカントノードとして指定する必要があります。これはnode.roleパラメータをreplicantに設定することで実現します。さらに、自動クラスターディスカバリ戦略（cluster.discovery_strategy）を有効にする必要があります。

TIP

レプリカントノードはmanualディスカバリ戦略を使ってコアノードを検出できません。

設定例：

node {
    ## ノードをレプリカントノードとして設定する場合：
    role = replicant
}
cluster {
    ## 静的ディスカバリ戦略を有効化：
    discovery_strategy = static
    static.seeds = [emqx@host1.local, emqx@host2.local]
}

ネットワークおよびハードウェア要件

ネットワーク

• コアノード間のネットワークレイテンシは10ms未満が望ましい。100msを超えるとクラスター障害の原因となる可能性があります。
• コアノードは同一プライベートネットワーク内に配置することを強く推奨します。
• レプリカントノードもコアノードと同じプライベートネットワークに配置することが望ましいですが、ネットワーク品質の要件はやや緩和されます。

CPUおよびメモリ

コアノードはより多くのメモリを必要としますが、クライアント接続を処理していない場合はCPU消費は比較的低いです。レプリカントノードはEMQX 4.xと同様のハードウェアサイズを想定し、メモリ要件は想定される接続数およびメッセージスループットに基づいて見積もる必要があります。

監視とデバッグ

MriaのパフォーマンスはPrometheusメトリクスやErlangコンソールで監視可能です。

Prometheus指標

Prometheusと連携してクラスターの動作を監視できます。Prometheusとの連携方法はログと可観測性 - Prometheusとの統合を参照してください。

コアノード

指標名	説明
emqx_mria_last_intercepted_trans	ノード起動以降にシャードが受信したトランザクション数
emqx_mria_weight	コアノードの瞬間的な負荷
emqx_mria_replicants	コアノードに接続しているレプリカントノード数。シャードごとに集計。
emqx_mria_server_mql	レプリカントノードに送信待ちのトランザクション数。少ないほど良い。 この指標が増加傾向の場合、コアノードを増やす必要があります。

レプリカントノード

指標名	説明
emqx_mria_lag	レプリカントが上流のコアノードにどれだけ遅れているかを示す。少ないほど良い。
emqx_mria_bootstrap_time	レプリカントノードの起動時間。正常稼働時は安定しているべき値。
emqx_mria_bootstrap_num_keys	起動時にコアノードからコピーされたデータベースレコード数。正常稼働時は安定しているべき値。
emqx_mria_message_queue_len	メッセージレプリケーション中のキュー長。0付近が望ましい。
emqx_mria_replayq_len	レプリカントノード内の内部リプレイキュー長。少ないほど良い。

コンソールコマンド

Erlangコンソールでemqx eval 'mria_rlog:status().'コマンドを実行することで、クラスターの稼働状況を監視できます。

EMQXクラスターが正常に稼働している場合、現在のログレベル、処理済みメッセージ数、破棄されたメッセージ数などのステータス情報一覧が取得できます。