レート制限
EMQXでは、接続速度およびメッセージ速度に対して制限を指定でき、システムの入口での過負荷を回避し、予測可能なスループットでシステムの安定性を保証するバックプレッシャー方式を採用しています。
リスナー単位のリミッター
リミッターはリスナー単位で動作します。EMQXは以下の種類のリミッターを使用してレート制限を指定します。
| 種類 | ダッシュボードUI | 説明 | 過負荷時の動作 |
|---|---|---|---|
| bytes_rate | クライアントごとの最大メッセージパブリッシュトラフィック | 単一クライアントが1秒間にパブリッシュするメッセージのバイト数 | クライアントからのメッセージ受信を一時停止 |
| bytes_burst | クライアントごとの最大メッセージパブリッシュバースト | 通常のData Publishing Rateに基づく、単一クライアントがバーストで送信可能なバイト数 | クライアントからのメッセージ受信を一時停止 |
| messages_rate | クライアントごとの最大メッセージパブリッシュレート | 単一クライアントが1秒間にパブリッシュするメッセージ数 | クライアントからのメッセージ受信を一時停止 |
| messages_burst | クライアントごとの最大メッセージパブリッシュバースト | 通常のMessages Publish Rateに加えて、単一クライアントがバーストで送信可能なメッセージ数 | クライアントからのメッセージ受信を一時停止 |
| max_conn_rate | リスナーごとの最大接続レート | 現在のリスナーが1秒間に受け入れる接続数 | 新規接続の受付を一時停止 |
| max_conn_burst | リスナーごとの最大接続バースト | リスナーがバーストで受け入れ可能な最大接続数 | 新規接続の受付を一時停止 |
配信レートリミッターはリスナー単位で動作しますが、過負荷時の動作が異なります。詳細は配信レートリミッターをご参照ください。
リスナー単位リミッターの設定
ダッシュボードの Management -> Listeners ページで各リスナーのレート制限を設定できます。
または、設定ファイルで設定することも可能です。例えば、デフォルトのTCPリスナーに対してリミッターを設定する場合、emqx.confファイルに以下のように記述します。
listeners.tcp.default {
bind = "0.0.0.0:1883"
max_conn_rate = "1000/s"
max_conn_burst = "10000/60m"
messages_rate = "1000/s"
messages_burst = "10000/60m"
bytes_rate = "1MB/s"
bytes_burst = "100MB/60m"
}この設定は以下を意味します。
- リスナーの接続確立の最大レートは1秒あたり1000件。
- リスナーは60分間に最大10,000件の接続を受け入れ可能。
- クライアントごとのメッセージパブリッシュ最大レートは1秒あたり1000件。
- リスナーは60分ごとに短時間で最大10,000件のメッセージバーストを許容。
- クライアントごとのデータパブリッシュ最大レートは1秒あたり1MB。
- リスナーは60分ごとに短時間で最大100MBのデータバーストを許容。
ノード単位のリミッター
リミッターはノード単位でも動作し、各EMQXノードへの個々のクライアント接続の速度や、ノードにパブリッシュされるメッセージやデータのレートを制限します。EMQXノードは以下の種類のリミッターを使用してレート制限を指定します。
| 種類 | ダッシュボードUI | 説明 | 過負荷時の動作 |
|---|---|---|---|
| bytes_rate | データパブリッシュレート | 単一クライアントが各EMQXノードにパブリッシュするデータ量(バイト単位) | 制限に達すると、QoS 0メッセージは破棄され、QoS 1およびQoS 2メッセージは「Quota Exceeded」エラー(0x97)で拒否されます。 |
| bytes_burst | データパブリッシュバースト | 通常のdata publish rateに基づくクライアントごとのバースト許容量 | 制限に達すると、QoS 0メッセージは破棄され、QoS 1およびQoS 2メッセージは「Quota Exceeded」エラー(0x97)で拒否されます。 |
| messages_rate | メッセージパブリッシュレート | 単一クライアントが各EMQXノードにメッセージをパブリッシュするレート | 制限に達すると、QoS 0メッセージは破棄され、QoS 1およびQoS 2メッセージは「Quota Exceeded」エラー(0x97)で拒否されます。 |
| messages_burst | メッセージパブリッシュバースト | 通常のmessage publishing rateに基づくノードごとのバースト許容量 | 制限に達すると、QoS 0メッセージは破棄され、QoS 1およびQoS 2メッセージは「Quota Exceeded」エラー(0x97)で拒否されます。 |
| max_conn_rate | 最大接続レート | ノードが受け入れる新規接続のレート | 制限に達すると、Acceptキューでの接続処理が一時停止され、新規接続が遅延または拒否されます。 |
| max_conn_burst | 最大接続バースト | ノードがバーストで受け入れ可能な最大接続数 | 新規接続の受付を一時停止 |
ノード単位リミッターの設定
ダッシュボードの Management -> MQTT Configuration ページで各ノードのレート制限を設定できます。
または、設定ファイルで設定することも可能です。例えば、emqx.confに以下のように記述します。
mqtt.limiter {
max_conn_rate = "1000/s"
max_conn_burst = "10000/60m"
messages_rate = "500/10s"
messages_burst = "10000/60m"
bytes_rate = "500KB/s"
bytes_burst = "100MB/60m"
}ゾーン単位のリミッターはzoneセクション内に以下のように埋め込めます。
zones.my_zone.mqtt {
limiter {...}
}- ノードは10秒あたり最大500件のメッセージを受信可能で、それを超えると破棄または拒否されます。
- ノードは60分ごとに短時間で最大10,000件のメッセージバーストを許容します。
- ノードは10秒あたり最大500MBのデータを受信可能で、それを超えると破棄または拒否されます。
- ノードは60分ごとに短時間で最大100MBのデータバーストを許容します。
配信レートリミッター
上記のパブリッシュ側リミッターに加え、EMQXはサブスクライバー側の配信レート制限もサポートしています。これらのリミッターは、どのクライアントがパブリッシュしたかに関わらず、EMQXがサブスクライブしているクライアントにメッセージを配信する速度を制御します。
| 種類 | ダッシュボードUI | 説明 | 過負荷時の動作 |
|---|---|---|---|
| delivery_messages_rate | クライアントごとの最大メッセージ配信レート | ノードごとに単一サブスクライバーに配信されるメッセージの最大レート | QoS 0メッセージは破棄されます。QoS 1およびQoS 2メッセージは内部キューに格納され、リミッター設定に基づく遅延後に再送されます。 |
| delivery_messages_burst | クライアントごとの最大メッセージ配信バースト | delivery_messages_rateに加えたバースト許容量 | 上記と同様 |
| delivery_bytes_rate | クライアントごとの最大メッセージ配信トラフィック | ノードごとに単一サブスクライバーに配信されるデータの最大レート(バイト単位) | 上記と同様 |
| delivery_bytes_burst | クライアントごとの最大メッセージ配信トラフィックバースト | delivery_bytes_rateに加えたバースト許容量 | 上記と同様 |
パブリッシュ側リミッターと異なり、配信リミッターはチャネル単位のみで動作し、クライアント接続ごとに適用され、ゾーンやリスナーグループ間で共有されません。
TIP
配信レートリミッターはメモリーセッション(durable_sessions.enable = false)でのみサポートされます。永続セッションが有効な場合は効果がありません。
配信レートリミッターの設定
ダッシュボードの Management -> Listeners ページで各リスナーの配信レート制限を設定できます。
または、設定ファイルで設定することも可能です。例えば、デフォルトのTCPリスナーに対して配信レートリミッターを設定する場合、emqx.confファイルに以下のように記述します。
listeners.tcp.default {
bind = "0.0.0.0:1883"
delivery_messages_rate = "100/s"
delivery_messages_burst = "500/10s"
delivery_bytes_rate = "1MB/s"
delivery_bytes_burst = "10MB/10s"
}この設定は以下を意味します。
- 各サブスクライバーはEMQXから最大100メッセージ/秒を受信し、それを超えるQoS 0メッセージは破棄され、QoS 1/2メッセージはキューに格納され再送されます。
- 各サブスクライバーは最大1MB/秒のメッセージデータを受信し、オーバーフロー時の動作は上記と同様です。
未指定の場合、デフォルト値はinfinityであり、配信側のレート制限を必要としない既存のデプロイとの互換性を維持します。
レート単位
時間単位
レート値でサポートされる時間単位は以下の通りです。
- s : 秒
- m : 分
- h : 時間
- d : 日
時間単位は間隔値としても指定可能で、例として1000/10sは「10秒ごとに1000回の制限」を意味します。
サイズ単位
レート値でサポートされるサイズ単位は以下の通りです。
- KB : キロバイト
- MB : メガバイト
- GB : ギガバイト