Connector
EMQXのコネクターはデータ統合における重要な概念であり、Sink/Sourceの基盤となる接続チャネルとして機能し、外部データシステムへの接続に使用されます。
基本概念
コネクターは外部データシステムへの接続に特化しています。ユーザーは異なる外部データシステムごとに異なるコネクターを作成でき、1つのコネクターで複数のSink/Sourceへの接続を提供することも可能です。
MySQL Sinkを例にとると、コネクター、ルール、Sinkの関係は以下の図のようになります。

特徴と利点
Sink/Sourceを作成する際、ユーザーは既存のコネクターを選択するだけで、基盤となる接続の詳細を気にする必要がありません。この設計の利点は以下の通りです。
- 接続設定をデータ処理やマッピング設定から分離することで、データ処理フローの設計がよりモジュール化され柔軟になります。
- コネクターの作成・設定はデータ処理フローの設計に影響を与えません。接続情報を変更する必要がある場合はコネクター内で修正でき、設定や保守が簡素化されます。
- 複数のSink/Sourceに接続する必要がある外部データシステムの場合、単一のコネクターを作成することで対応でき、設定の重複を避けられます。
コネクターの作成
データ統合を作成する際は、統合を機能させるためにSink/Source用のコネクターを作成する必要があります。コネクターはダッシュボードから作成および管理できます。1つのコネクターは異なるSink/Sourceで再利用可能です。
TIP
Sink/Source作成の過程でコネクターを作成することもでき、その場合は自動的にコネクター作成プロセスに入ります。
ダッシュボードの左ナビゲーションメニューで Integration -> Connectors をクリックします。
ページ右上の Create ボタンをクリックし、コネクター作成プロセスに入ります。
コネクタータイプ選択ページで必要なコネクターを選択し、Next をクリックして接続パラメータを入力します。対応コネクターはこちらを参照してください。

コネクター設定情報ページで、コネクター名、説明、接続パラメータなど基本情報を入力します。ここでの内容は各Sink/Sourceの使用ドキュメント内のコネクターパラメータセクションを参照してください。

コネクターの表示と管理
コネクター作成後は、Connectorsページで基本情報を確認できます。また、有効化・無効化や設定編集、ルール作成、コネクターの複製、削除などをコネクターリストの Actions 列から行えます。

コネクターがSink/Sourceで使用されている場合、コネクター設定の更新によりSink/Sourceがリロードされ、データ処理が一時的に中断される可能性があります。更新は業務の閑散時間帯に行うことを推奨します。
使用中のコネクターは削除できません。削除するには、まずそのコネクターを使用しているSink/Sourceを削除してください。コネクター削除時には、関連するSink/Sourceを表示する警告ダイアログが表示されます。Sink/Sourceをクリックすると、ルール設定ページに移動し、そこでSink/Sourceの削除が可能です。

コネクターのステータス
ダッシュボードでコネクターの稼働状況を確認でき、トラブルシューティングや監視に役立ちます。
コネクターのステータスは以下の通りです。
- Connecting:ヘルスチェックが行われる前の初期状態で、コネクターが外部データシステムへの接続を試みている状態。
- Connected:コネクターが外部データシステムに正常に接続されている状態。この状態でヘルスチェックに失敗すると、障害の深刻度に応じて「connecting」または「disconnected」状態に遷移する可能性があります。
- Disconnected:ヘルスチェックに失敗し、正常でない状態。設定によっては定期的に自動再接続を試みます。
- Inconsistent:クラスター内のノード間でコネクターの状態が不整合な状態。例えば、一部のノードでは接続済み、他のノードでは切断状態となっている場合です。
注意事項 - コネクションプール
一部のコネクターはコネクションプールの概念を提供しており、再利用可能な接続オブジェクトの集合です。コネクションプールを利用することで、リクエストごとに接続を再作成する必要がなくなり、リソース消費の削減や接続効率・同時処理性能の向上に寄与します。
コネクションプールのサイズは各EMQXノードごとのサイズを指し、EMQXは各ノードに別々のコネクションプールを作成します。EMQXは通常クラスターでデプロイされるため、外部データシステムの接続数制限を超える可能性があります。
例えば、3ノードのEMQXクラスターでコネクションプールサイズを8に設定した場合、EMQXは3 × 8 = 24の接続を作成します。