Skip to content

MQTTデータをDatalayersに取り込む ​

Datalayersは、産業用IoT、IoV、エネルギーなどの分野向けに設計されたマルチモーダルかつハイパーコンバージドなデータベースです。高いデータスループットと安定したパフォーマンスを備えており、IoTアプリケーションに最適です。EMQXは現在、Sinkを介してDatalayersへのメッセージおよびデータの保存をサポートしており、データ分析や可視化を容易にしています。

本ページでは、EMQXとDatalayersのデータ統合について詳細に解説し、ルールおよびSinkの作成方法を実践的にご案内します。

動作概要 ​

Datalayersデータ統合はEMQXの標準機能であり、デバイスからのMQTTメッセージをシームレスにDatalayersへ転送して保存・分析できます。ルールとSinkを設定することで、処理済みのMQTTデータを柔軟にDatalayersへルーティング可能です。

以下の図は、エネルギー貯蔵シナリオにおけるEMQXとDatalayersの統合アーキテクチャの一例を示しています。

MQTT to Datalayers

このアーキテクチャでは、EMQXがデバイスの接続管理、メッセージの送受信、ルールベースの処理を担当し、Datalayersがデータの保存、分析、可視化を担います。両者を組み合わせることで、エネルギー消費のリアルタイムデータを効率的に収集・分析できるスケーラブルなIoTプラットフォームを構築できます。

EMQX 6.0.0以降、DatalayersはApache Arrowをベースとした高性能バイナリ通信プロトコルであるArrow Flight SQLをサポートしています。従来のInfluxDB Line Protocolと比較して、Arrow Flight SQLはより効率的なデータ転送と構造化データの書き込みに優れています。

注意

Arrow FlightドライバーはRustで実装され、Native Implemented Function(NIF)を介してErlang VMに統合されています。本機能は現在実験的であり、テスト環境での利用を推奨します。

具体的なワークフローは以下の通りです。

  1. メッセージのパブリッシュと受信:デバイスはMQTT経由でEMQXに接続し、電力、電流、電圧などのエネルギー関連メトリクスを定期的にパブリッシュします。EMQXはこれらのメッセージを受信し、ルールエンジンに渡します。

  2. ルールエンジンによるメッセージ処理:EMQXの組み込みルールエンジンはトピックパターンに基づいてメッセージをマッチングし、ペイロードの変換、フィールドのフィルタリング、コンテキスト情報の付加などの処理を行います。

  3. Datalayersへの書き込み:ルールがトリガーされると、処理済みデータをDatalayersに書き込むSinkアクションが実行されます。SinkはフィールドをDatalayersのテーブルやカラムにマッピングするカスタマイズ可能なSQLテンプレートをサポートします。

    EMQXは以下の2つの書き込み方式をサポートしています。

    • InfluxDB Line Protocol
    • Arrow Flight SQLドライバー

    Sinkの設定は選択した方式によって異なります。

エネルギー貯蔵データがDatalayersに書き込まれた後は、対応ツールを使って柔軟にデータ分析が可能です。例えば:

  • Grafanaなどの可視化ツールに接続し、エネルギー貯蔵データのグラフを作成・表示する。
  • 業務システムに接続し、エネルギー貯蔵デバイスの状態監視やアラートを行う。

特長と利点 ​

Datalayersデータ統合の主な特長と利点は以下の通りです。

  • 効率的なデータ処理:EMQXは多数のIoTデバイス接続とメッセージスループットを処理可能であり、Datalayersはデータの書き込み、保存、クエリに優れています。これにより、IoTシナリオのデータ処理要件をシステムに負荷をかけずに満たせます。
  • メッセージ変換:EMQXのルール内でメッセージを高度に処理・変換してからDatalayersに書き込めます。
  • スケーラビリティ:EMQXとDatalayersはともにクラスタリング機能を備え、ビジネスの成長に応じて柔軟に水平スケール可能です。
  • 豊富なクエリ機能:Datalayersはタイムスタンプデータの効率的なクエリ・分析のために最適化された関数、演算子、インデックス技術を提供し、IoT時系列データから価値ある洞察を抽出できます。
  • 効率的なストレージ:Datalayersは高圧縮エンコーディングを用いてストレージコストを大幅に削減します。また、カスタマイズ可能なデータ保持期間により不要なデータのストレージ占有を防止します。

はじめる前に ​

本節では、EMQXでDatalayers Sinkを作成する前に必要な準備として、Datalayersのインストール、データベース作成、テーブル構造定義について説明します。

前提条件 ​

Datalayersのインストールとセットアップ ​

  1. Dockerを使ってDatalayersをインストールし起動します。詳細手順はInstall Datalayersを参照してください。

    bash
    # Datalayersコンテナを起動
    docker run -d --name datalayers -p 8360:8360 -p 8361:8361 datalayers/datalayers:latest
    • ポート8360はArrow Flight SQL用のデフォルトgRPCポートです。
    • ポート8361はHTTPポートで、主にLine Protocol書き込みや管理APIに使用されます。
  2. Datalayersサービス起動後、デフォルトのユーザー名・パスワードadmin/publicでDatalayers CLIにログインし、データベースを作成します。

    • Datalayersコンテナにアクセス:

      bash
      docker exec -it datalayers bash
    • Datalayers CLIを起動:

      bash
      dlsql -u admin -p public
    • データベース作成(例:mqtt):

      sql
      create database mqtt
  3. Arrow Flight SQLドライバーを使用する場合は、対象テーブルを事前に作成する必要があります。

    注意

    InfluxDB Line Protocolを使用する場合はテーブルの事前作成は不要です。Datalayersは受信したLine Protocolデータのmeasurementおよびフィールド定義に基づき自動でテーブルを作成します。

    例として、t_mqtt_msgというテーブルを以下のSQLで作成します。

    sql
    CREATE TABLE IF NOT EXISTS `t_mqtt_msg` (
        time TIMESTAMP(3) NOT NULL,
        msgid STRING NOT NULL,
        sender STRING NOT NULL,
        topic STRING NOT NULL,
        qos INT8 NOT NULL,
        payload STRING,
        arrived TIMESTAMP(3) NOT NULL,
        timestamp key(time)
    ) PARTITION BY HASH (msgid, sender) PARTITIONS 1
    ENGINE = TimeSeries WITH (ttl = '14d');

Datalayersコネクターの作成 ​

本節では、EMQXでDatalayersサーバーに接続するためのコネクター作成手順を示します。

以下の手順はEMQXとDatalayersがローカル環境で動作していることを前提としています。別環境やリモート環境に展開している場合は接続設定を適宜変更してください。

  1. EMQXダッシュボードで、Integration -> Connectorsを開きます。

  2. 画面右上のCreateをクリックします。

  3. Create Connector画面でDatalayersを選択し、Nextをクリックします。

  4. Configuration画面でコネクターの詳細を入力します。

    • Connector Name:英数字で始まり、英数字、ハイフン、アンダースコアのみ使用可能です。例:my_datalayers
    • Description(任意):後で識別しやすい説明を追加可能です。

    Datalayersサーバー接続設定:

    • Driver Type:

      • InfluxDB Line Protocol:InfluxDB互換のLine Protocolでデータ取り込み。テーブルは自動作成されます。

      • Arrow Flight:SQLテンプレートを使った高性能な構造化データ書き込みを有効化。スキーマ管理や高スループットが必要な場合に適しています。

        注意

        Arrow FlightドライバーはRustで実装され、NIF経由でErlang VMに統合されています。現在実験的機能であり、テスト環境での評価を推奨します。

    • Server Host:

      • デフォルト:127.0.0.1:8361
      • Arrow Flightドライバー使用時はgRPC通信のためポート8360を使用します。
    • Database Name:Datalayers上の対象データベース名(例:mqtt)

    • Username / Password:Datalayersアクセス用認証情報(例:admin / public)

    • Enable TLS(任意):暗号化接続を有効化できます。有効時は証明書パスや検証オプションを設定可能です。詳細は外部リソースアクセスのTLS有効化を参照してください。

      Arrow Flight TLS要件

      EMQX 6.3.3以降、Arrow FlightドライバーでTLSを有効化する場合は以下の要件があります。

      • EMQXは常にDatalayersサーバー証明書を検証します。TLS Verifyは有効のままとしてください。verify_noneはArrow Flightで拒否されます。未設定の場合、EMQXはデフォルト値(verify = verify_peer、cacertfile = "system_default")を適用します。
      • system_defaultはnode.trusted_certsで選択されたCAバンドルを使用します。Datalayersサーバー証明書を発行したCAが含まれていない場合は、CA CertにPEM形式のCA証明書を指定してください。詳細はアウトバウンドTLSの信頼済みCA証明書を参照してください。
      • Certificate SourceはEnter Manuallyを選択し、TLS CertとTLS Keyは空欄のままにしてください。Arrow Flightはクライアント証明書設定(certfile、keyfile)や管理証明書バンドル(managed_certs)をサポートしていません。
      • server_name_indicationをdisableに設定しないでください。サーバー証明書はコネクターのホスト名または明示的に設定したSNIサーバー名と一致する必要があります。

      これらの要件はArrow Flightドライバーにのみ適用され、InfluxDB Line ProtocolドライバーのTLS動作は従来通りです。

  5. ドライバーにArrow Flightを選択すると、Enable Prepared Statementsオプションが表示されます。これはSinkがSQLテンプレートを使ってデータ挿入できるかを制御し、デフォルトで有効です。

  6. Createをクリックする前に、Test ConnectivityでDatalayersサーバーへの接続確認が可能です。

  7. 画面下部のCreateをクリックしてコネクター作成を完了します。ポップアップでBack to Connector ListまたはCreate Ruleを選択できます。ルールとSinkの作成手順はCreate a Datalayers Ruleを参照してください。

Datalayersルールの作成 ​

本節では、ソーストピックt/#からMQTTメッセージを処理し、処理結果を設定済みのDatalayers Sinkに送信するルールの作成方法を説明します。

SQLを定義したルールの作成 ​

  1. EMQXダッシュボードの左メニューからData Integration -> Rulesを開きます。

  2. Rulesページで右上のCreateボタンをクリックします。

  3. ルール作成フォームでRule IDを入力します(例:my_rule)。

  4. SQL Editorでルールロジックを定義します。トピックt/#にパブリッシュされたMQTTメッセージをDatalayersに保存する例は以下の通りです。

    注意

    カスタムSQLルールを書く場合、Sinkテンプレートで参照するすべての変数(例:${clientid}, ${payload.temp})を必ずルールのSELECT句に含めてください。

    SELECT
      *
    FROM
      "t/#"

    TIP

    EMQXのSQLに不慣れな場合は、SQL ExamplesやEnable Debugをクリックしてサンプルクエリを確認・テストできます。

  5. ルールにDatalayers Sinkを追加し、処理結果をDatalayersに書き込みます。

  6. Create Ruleページで設定内容を確認し、Saveをクリックしてルールを作成します。

作成したルールはRules一覧に表示されます。対象ルールの**Actions (Sink)**タブをクリックすると、関連付けられたDatalayers Sinkを確認できます。

また、Integrations -> Flow Designerでトポロジーグラフを表示すると、トピックt/#のメッセージがmy_ruleルールで処理されDatalayersに書き込まれる様子が可視化されます。

InfluxDB Line Protocol Sinkの追加 ​

本節では、InfluxDB Line Protocolを用いて処理済みデータをDatalayersに書き込むSinkをルールに追加する方法を説明します。

  1. ルールエディター右側のAdd Actionボタンをクリックし、ルール条件にマッチした際に実行されるアクションを定義します。このアクションは処理済みメッセージをDatalayersに転送します。

  2. Type of ActionドロップダウンでDatalayersを選択し、ActionはデフォルトのCreate Actionのままにします。既存のDatalayers Sinkを選択することも可能ですが、本例では新規作成を想定しています。

  3. Sinkの名前を入力します(例:dl_sink_influx)。名前は英数字の組み合わせで指定してください。

  4. Connectorドロップダウンで、InfluxDB Line Protocolドライバーで設定済みのコネクターを選択します。コネクターがない場合は隣のボタンから作成可能です。Create a Datalayers Connectorを参照してください。

  5. Time Precisionはデフォルトでミリ秒に設定します。

  6. Datalayersへのデータ解析・書き込み用にData Formatと内容を定義します。JSONまたはLine Protocolを選択可能です。

    • JSON:

    Measurement、Fields、Timestamp、Tagsを指定します。キーと値は定数または${payload.temp}のような変数プレースホルダーをサポートします。書式ルールはInfluxDB Line Protocolを参照してください。

    FieldsはCSVファイルを使った一括設定も可能です。Use CSV to Batch Configure Fieldsを参照してください。

    • Line Protocol:

      テーブル、フィールド、タイムスタンプ、タグを含む単一のLine Protocol文字列を定義します。キーと値は定数またはプレースホルダーをサポートします。書式はInfluxDB Line Protocolを参照してください。

      TIP

      Datalayersに書き込むデータはInfluxDB v1のLine Protocolと完全互換です。設定時はInfluxDB Line Protocolを参考にしてください。

      例えば符号付き整数値を入力する場合、プレースホルダーの後にiを付けます(例:${payload.int}i)。詳細はInfluxDB 1.8で整数値を書き込む方法を参照してください。

      Line Protocolの例:

      sql
      devices,clientid=${clientid} temp=${payload.temp},hum=${payload.hum},precip=${payload.precip}i ${timestamp}
  7. Fallback Actions(任意):メッセージ配信失敗時の信頼性向上のため、1つ以上のフォールバックアクションを定義できます。詳細はFallback Actionsを参照してください。

  8. Advanced Settingsを展開し、必要に応じて詳細設定を行います(任意)。詳細はAdvanced Settingsを参照してください。

  9. Createをクリックする前に、Test ConnectivityでSinkからDatalayersサーバーへの接続テストが可能です。

  10. CreateをクリックしてSink作成を完了します。Create Ruleページに戻ると、Action Outputsタブに新規Sinkが表示されます。

CSVを使ったフィールド一括設定 ​

TIP

本機能はInfluxDB Line ProtocolドライバーかつデータフォーマットがJSONのSinkでのみ利用可能です。フィールド設定を一括でインポートできます。

Datalayersのデータエントリは数百のフィールドを含むことが多く、データフォーマット設定が煩雑になる場合があります。これを解決するため、EMQXはフィールド一括設定機能を提供しています。

JSONフォーマット設定時に、CSVファイルからフィールドのキー・値ペアを一括インポート可能です。

  1. FieldsテーブルのBatch Settingsボタンをクリックし、Import Batch Settingsポップアップを開きます。

  2. 指示に従いテンプレートファイルをダウンロードし、フィールドのキー・値ペアを入力します。テンプレートのデフォルト内容は以下の通りです。

    FieldValue備考(任意)
    temp${payload.temp}
    hum${payload.hum}
    precip${payload.precip}i値の後ろにiを付けるとDatalayersは整数型として保存します。
    • Field:フィールドキー。定数または${var}形式のプレースホルダーをサポート。
    • Value:フィールド値。定数またはプレースホルダー、Line Protocolに準じた型識別子の付加が可能。
    • 備考:CSVファイル内のコメント用で、EMQXにはインポートされません。

    CSVファイルは最大2048行まで対応しています。

  3. 入力済みテンプレートファイルを保存し、Import Batch Settingsポップアップにアップロード後、Importをクリックして一括設定を完了します。

  4. インポート後はFields設定テーブルでキー・値ペアをさらに調整可能です。

Arrow Flight SQL Sinkの追加 ​

本節では、Arrow Flight SQLドライバーを使い、SQL挿入文でDatalayersにデータを書き込むSinkをルールに追加する方法を説明します。

注意

Arrow Flight SQLドライバーは現在実験的機能です。商用環境での利用は慎重に行ってください。

  1. ルールエディター右側のAdd Actionボタンをクリックし、ルールマッチ時に実行されるアクションを定義します。このアクションは処理済みデータをDatalayersに転送します。

  2. Type of ActionドロップダウンでDatalayersを選択し、ActionはデフォルトのCreate Actionのままにします。既存のDatalayers Sinkを選択することも可能ですが、本例では新規作成を想定しています。

  3. Sinkの名前を入力します(例:dl_sink_arrow)。英数字の組み合わせを推奨します。

  4. Connectorドロップダウンで、Arrow Flightドライバーで設定済みのコネクターを選択します。存在しない場合は隣のボタンから作成可能です。Create a Datalayers Connectorを参照してください。

  5. データ挿入方法を定義するSQLテンプレートを設定します。

    TIP

    これはPreprocessing SQLテンプレートです。フィールド名をクォートで囲まず、SQL文末にセミコロン;を含めないでください。すべての${}プレースホルダーはルールSQLで選択したフィールドと一致させる必要があります。

    TIP

    コネクター設定のデータベース以外にデータを挿入する場合は、SQLテンプレート内で対象データベース名を明示的に指定してください。なお、コネクターは対象データベースの存在を確認します。

    例:

    sql
    insert into t_mqtt_msg(time, msgid, sender, topic, qos, payload, arrived) values (${timestamp}, ${id}, ${clientid}, ${topic}, ${qos}, ${payload}, ${timestamp})
  6. Fallback Actions(任意):信頼性向上のため、Sinkがメッセージ処理に失敗した場合に実行されるフォールバックアクションを1つ以上設定可能です。詳細はFallback Actionsを参照してください。

  7. Advanced Settingsを展開し、必要に応じて詳細設定を行います。詳細はAdvanced Settingsを参照してください。

  8. Createをクリックする前に、Test ConnectionボタンでSinkからDatalayersサーバーへの接続確認が可能です。

  9. CreateをクリックしてSink作成を完了します。Create Ruleページに戻ると、Action Outputsタブに新規Sinkが表示されます。

ルールとSinkのテスト ​

ルールとSinkの設定後、テスト用MQTTメッセージをパブリッシュしてDatalayersへの書き込みが成功しているか確認できます。

  1. MQTTXを使い、トピックt/1にメッセージを送信します。これによりセッションイベント(クライアントのオンライン/オフラインなど)もトリガーされる場合があります。

    bash
    mqttx pub -i emqx_c -t t/1 -m '{ "temp": "23.5", "hum": "62", "precip": 2 }'

    このメッセージはルールエンジンをトリガーし、設定済みのDatalayers Sinkに転送されます。ルールにクライアント接続・切断などのセッションイベントが含まれている場合も同様にトリガーされます。

  2. Sinkの実行統計を確認します。EMQXダッシュボードのRulesページで対象ルールを選択し、Actions (Sink)タブを開きます。対象SinkのMatchedおよびSuccessカウントが1増加していることを確認してください。

  3. CLIでDatalayers内のデータを確認します。

    DatalayersコンテナにアクセスしCLIツールを起動:

    bash
    docker exec -it datalayers bash
    dlsql -u admin -p public

    書き込み方式に応じて以下のSQLを実行します。

    • InfluxDB Line Protocolの場合、テーブル名はSink設定のmeasurement(例:devices)がデフォルトです。

      sql
      use mqtt
      select * from devices
    • Arrow Flight SQLの場合、事前に作成した対象テーブル(例:t_mqtt_msg)をクエリします。

      sql
      use mqtt
      select * from t_mqtt_msg

詳細設定 ​

本節では、DatalayersコネクターおよびSinkの詳細設定オプションについて説明します。ダッシュボードでコネクターやSinkを設定する際、Advanced Settingsを展開して以下のパラメータを業務要件に応じて調整できます。

フィールド名説明デフォルト値
Buffer Pool Sizeバッファワーカーのプロセス数を指定します。これらのプロセスはEMQXとDatalayersのegressタイプSink間のデータフローを管理し、送信前のデータを一時的に保持・処理します。egressシナリオでのパフォーマンス最適化やスムーズなデータ送信に重要です。ingressのみを扱うブリッジでは0に設定可能です。4
Request TTLバッファに入ったリクエストが有効とみなされる最大時間(秒)を指定します。リクエストがTTLを超えてバッファに滞留するか、Datalayersからの応答・アックがタイムリーに得られない場合、リクエストは期限切れと判断されます。45
Health Check IntervalSinkがDatalayersとの接続状態を自動的にヘルスチェックする間隔(秒)を指定します。15
Max Buffer Queue SizeDatalayers Sinkの各バッファワーカープロセスがバッファリング可能な最大バイト数を指定します。バッファワーカーは送信前のデータを一時的に保持し、データストリームを効率的に処理します。システム性能やデータ送信要件に応じて調整してください。1
Batch SizeEMQXからDatalayersへ一度に転送するデータの最大バッチサイズを指定します。サイズ調整によりデータ転送の効率とパフォーマンスを最適化できます。
1に設定すると単一レコードずつ送信し、バッチ化しません。
`100``
Query Modesynchronousまたはasynchronousのリクエストモードを選択し、メッセージ送信を要件に応じて最適化します。非同期モードではDatalayersへの書き込みがMQTTメッセージのパブリッシュをブロックしませんが、クライアントがメッセージをDatalayers到達前に受信する可能性があります。Asynch
Inflight Window送信済みだが応答・アックをまだ受け取っていないリクエストの最大数を制御します。
Request Modeがasynchronousの場合に特に重要です。同一MQTTクライアントからのメッセージを厳密に順序処理する必要がある場合は、1に設定してください。
100