Skip to content

TDengineへのMQTTデータ取り込み ​

TDengineは、IoTおよび産業用IoT(IIoT)シナリオ向けに設計・最適化されたビッグデータプラットフォームです。その中核には、高性能な時系列データベースがあり、クラスター指向のアーキテクチャ、クラウドネイティブ設計、ミニマリスティックなアプローチを特徴としています。EMQXはTDengineとの統合をサポートしており、多数のデバイスやデータコレクターからの大量データの送信、保存、分析、配信を可能にします。これにより、ビジネス運用状態のリアルタイム監視や早期警告が提供され、リアルタイムのビジネスインサイトを得ることができます。

本ページでは、EMQXとTDengine間のデータ統合について包括的に紹介し、データ統合の作成および検証に関する実践的な手順を提供します。

動作概要 ​

TDengineデータ統合はEMQXに組み込まれた機能です。組み込みのルールエンジンコンポーネントを利用することで、EMQXからTDengineへのデータ取り込みを簡素化し、複雑なコーディングを不要にします。EMQXはルールエンジンとSinkを介してデバイスデータをTDengineに転送します。TDengineデータ統合を通じて、MQTTメッセージやクライアントイベントをTDengineに保存できます。さらに、TDengine内のデータ更新や削除はイベントによってトリガーされ、デバイスのオンライン状態や過去のオンライン/オフラインイベントの記録が可能です。

以下の図は、産業用IoTにおけるEMQXとTDengineのデータ統合の典型的なアーキテクチャを示しています。

EMQX Integration TDengine

産業用エネルギー消費管理シナリオを例に、ワークフローは以下の通りです:

  1. メッセージのパブリッシュと受信:産業用デバイスはMQTTプロトコルを通じてEMQXに正常に接続し、定期的にエネルギー消費データをパブリッシュします。このデータには生産ライン識別子やエネルギー消費値が含まれます。EMQXがこれらのメッセージを受信すると、ルールエンジン内でマッチング処理を開始します。
  2. ルールエンジンによるメッセージ処理:組み込みのルールエンジンは、トピックマッチングに基づき特定のソースからのメッセージを処理します。メッセージが到着するとルールエンジンを通過し、対応するルールとマッチングしてメッセージデータを処理します。これにはデータ形式の変換、特定情報のフィルタリング、コンテキスト情報によるメッセージの付加などが含まれます。
  3. TDengineへのデータ取り込み:ルールエンジンで定義されたルールは、メッセージをTDengineに書き込む操作をトリガーします。TDengine SinkはSQLテンプレートを提供し、特定のメッセージフィールドをTDengineの対応テーブル・カラムに柔軟に書き込むデータ形式を定義できます。

エネルギー消費データがTDengineに書き込まれた後は、標準SQLおよび強力な時系列拡張機能を用いてリアルタイムにデータ分析が可能です。多数のサードパーティのバッチ分析、リアルタイム分析、レポーティングツール、AI/MLツール、可視化ツールとシームレスに統合できます。例えば:

  • Grafanaなどの可視化ツールに接続し、エネルギー消費データのグラフを生成・表示。
  • ERPやPower BIなどのアプリケーションシステムに接続し、生産分析や生産計画の調整を実施。
  • ビジネスシステムに接続し、リアルタイムのエネルギー使用分析を行い、データ駆動型のエネルギー管理を促進。

特長とメリット ​

TDengineデータ統合は以下の特長と利点をビジネスにもたらします:

  • 効率的なデータ処理:EMQXは多数のIoTデバイス接続とメッセージスループットを効率的に処理可能です。TDengineはデータの書き込み、保存、クエリに優れ、IoTシナリオのデータ処理ニーズをシステムに負荷をかけずに満たします。
  • メッセージ変換:メッセージはEMQXのルール内で豊富な処理・変換を経てからTDengineに書き込まれます。
  • クラスターとスケーラビリティ:EMQXとTDengineはクラスター機能をサポートし、クラウドネイティブアーキテクチャ上に構築されています。クラウドプラットフォームの弾力的なストレージ、コンピューティング、ネットワークリソースを最大限活用し、ビジネスの成長に応じて柔軟な水平スケーリングが可能です。
  • 高度なクエリ機能:TDengineはタイムスタンプデータの効率的なクエリ・分析のために最適化された関数、演算子、インデックス技術を提供し、IoT時系列データから正確なインサイトを抽出できます。

はじめる前に ​

本節では、TDengineデータ統合の作成を開始する前に必要な準備、TDengineサーバーのセットアップおよびデータテーブルの作成方法について説明します。

前提条件 ​

TDengineの起動とデータベース作成 ​

TDengineを起動またはTDengineサービスに接続し、データベースを作成するには以下の2つの方法があります。

TDengineでのデータテーブル作成 ​

メッセージ保存と状態記録のため、TDengineデータベースに2つのデータテーブルを作成します。

  1. 以下のSQL文で、クライアントID、トピック、ペイロード、作成時間を保存するt_mqtt_msgテーブルを作成します。
sql
   CREATE TABLE t_mqtt_msg (
       ts timestamp,
       msgid NCHAR(64),
       mqtt_topic NCHAR(255),
       qos TINYINT,
       payload BINARY(1024),
       arrived timestamp
     );
  1. 以下のSQL文で、クライアントID、イベントタイプ、作成時間を保存するemqx_client_eventsテーブルを作成します。
sql
     CREATE TABLE emqx_client_events (
         ts timestamp,
         clientid VARCHAR(255),
         event VARCHAR(255)
       );

コネクターの作成 ​

本節では、SinkをTDengineサーバーに接続するためのコネクター作成方法を示します。

  1. EMQXダッシュボードに入り、Integration -> Connectorsをクリックします。

  2. ページ右上のCreateをクリックします。

  3. Create ConnectorページでTDengineを選択し、Nextをクリックします。

  4. Configurationステップで、接続先に応じて以下の情報を設定します。

  5. TLSの有効化:EMQX 6.3.3以降で利用可能です。TDengineサーバーがHTTPSを使用している場合はこのオプションを有効にしてください。EMQXはデフォルトでサーバー証明書を検証します。プライベートCA署名の証明書を使用する場合は対応するCA証明書を設定してください。詳細は外部リソースアクセスのTLSを参照してください。

  6. 高度な設定(任意):詳細はSinkの機能を参照してください。

  7. Createをクリックする前に、Test ConnectivityをクリックしてコネクターがTDengineサーバーに接続できるかテスト可能です。

  8. ページ下部のCreateボタンをクリックしてコネクター作成を完了します。ポップアップダイアログでBack to Connector Listをクリックするか、Create RuleをクリックしてSinkを指定したルール作成に進めます。詳細はメッセージ保存用のTDengine Sinkを使ったルール作成およびイベント記録用のTDengine Sinkを使ったルール作成を参照してください。

メッセージ保存用のTDengine Sinkを使ったルール作成 ​

本節では、ソースMQTTトピックt/#からのメッセージを処理し、処理済みデータを設定済みSinkを介してTDengineのt_mqtt_msgデータテーブルに保存するルールをダッシュボードで作成する方法を示します。

  1. EMQXダッシュボードでIntegration -> Rulesをクリックします。

  2. ページ右上のCreateをクリックします。

  3. ルールIDにmy_ruleを入力し、SQL Editorでメッセージ保存用のルールを作成します。例えば、以下のステートメントはトピックt/#配下のMQTTメッセージをTDengineに保存します。

    注意:独自のSQL構文を指定する場合は、Sinkが必要とするすべてのフィールドをSELECT部に含めていることを確認してください。

    sql
      SELECT
        *,
        now_timestamp('millisecond')  as ts
      FROM
        "t/#"

    TIP

    初心者の方はSQL Examplesをクリックし、Enable TestでSQLルールを学習・テストできます。

    • Add Actionボタンをクリックし、ルールによってトリガーされるアクションを定義します。このアクションにより、EMQXはルールで処理されたデータをTDengineに送信します。
  4. Type of ActionドロップダウンリストからTDengineを選択します。ActionはデフォルトのCreate Actionのままにします。既に作成済みのTDengine Sinkがあれば選択可能です。本デモでは新規Sinkを作成します。

  5. Sinkの名前を入力します。名前は英数字の組み合わせで指定してください。

  6. Connectorドロップダウンから先ほど作成したmy_tdengineを選択します。隣のボタンをクリックして新規コネクターを作成することも可能です。設定パラメータはコネクターの作成を参照してください。

  7. SinkのSQL Templateを設定します。以下のSQLを使用してデータ挿入を完了できます。CSVファイルによるバッチ設定もサポートしています。詳細はバッチ設定を参照してください。

    重要なお知らせ

    EMQX 6.3.1以降、Sink作成時にSQLテンプレートを解析し、SQLコンテキストに基づいてプレースホルダー値をエスケープし、サポートされない構文は拒否します。テンプレートは単一のTDengine INSERT文である必要があります。複数テーブルのVALUES挿入やUSING ... TAGS句をサポートします。素のテーブル名やバッククォートで囲まれたテーブル名にプレースホルダーを含めることができ(例:test_${clientid})、EMQXは完全なターゲット名を1つの引用識別子としてレンダリングします。SQLコメント、FILE入力、追加ステートメントはサポートされません。

    この検証により、以前のバージョンで受け入れられたテンプレートが拒否される場合があります。アップグレード前に互換性のないテンプレートを修正してください。

    TIP

    EMQX 6.3.0では文字列プレースホルダー値の周囲に手動で引用符を追加する必要がありましたが、6.3.1以降はプレースホルダーを完全な値としてまたは文字列リテラル内で使用でき、EMQXはSQLコンテキストに応じてレンダリング値をエスケープします。

    sql
    INSERT INTO t_mqtt_msg(ts, msgid, mqtt_topic, qos, payload, arrived) 
        VALUES (${ts}, '${id}', '${topic}', ${qos}, '${payload}', ${timestamp})

    SQLテンプレート内でプレースホルダー変数が未定義の場合、SQL template上のUndefined Vars as Nullスイッチでルールエンジンの動作を切り替えられます:

    • Disabled(デフォルト):ルールエンジンは文字列undefinedをデータベースに挿入可能。

    • Enabled:未定義変数の場合、ルールエンジンはNULLをデータベースに挿入。

      TIP

      可能な限りこのオプションは常に有効にしてください。無効化は後方互換性確保のためのみ推奨されます。

  8. フォールバックアクション(任意):メッセージ配信失敗時の信頼性向上のため、1つ以上のフォールバックアクションを定義可能です。これらはプライマリSinkがメッセージ処理に失敗した場合にトリガーされます。詳細はフォールバックアクションを参照してください。

  9. 高度な設定(任意):必要に応じてsyncまたはasyncクエリモードを選択します。詳細はSinkの機能を参照してください。

  10. Createをクリックする前に、Test ConnectivityをクリックしてSinkがTDengineに接続可能かテストできます。

  11. CreateボタンをクリックしてSink設定を完了します。新しいSinkがAction Outputsに追加されます。

  12. Create Ruleページに戻り、設定内容を確認後、Createをクリックしてルールを生成します。

これでTDengine Sink用のルールが正常に作成されました。Integration -> Rulesページで新規作成されたルールを確認できます。**Actions(Sink)**タブをクリックすると新しいTDengine Sinkが表示されます。

また、Integration -> Flow Designerをクリックするとトポロジーが表示され、トピックt/#配下のメッセージがルールmy_ruleで解析され、TDengineに送信・保存されていることが確認できます。

バッチ設定 ​

TDengineでは1つのデータエントリに数百のデータポイントを含む場合があり、SQL文の記述が困難になることがあります。これに対応するため、EMQXはSQLのバッチ設定機能を提供しています。

SQLテンプレート編集時に、バッチ設定機能を使ってCSVファイルから挿入操作用のフィールドをインポートできます。

  1. SQL Template下のBatch Settingボタンをクリックし、Import Batch Settingポップアップを開きます。

  2. 指示に従いバッチ設定テンプレートファイルをダウンロードし、テンプレート内のフィールドのキー・値ペアを入力します。デフォルトのテンプレートファイル内容は以下の通りです:

    FieldValueChar Value備考(任意)
    tsnowFALSE例示備考
    msgid${id}TRUE
    mqtt_topic${topic}TRUE
    qos${qos}FALSE
    temp${payload.temp}FALSE
    hum${payload.hum}FALSE
    status${payload.status}FALSE
    • Field:フィールドキー。定数または${var}形式のプレースホルダーをサポート。
    • Value:フィールド値。定数または${var}形式のプレースホルダーをサポート。SQLでは文字列型は引用符で囲む必要がありますが、テンプレートファイルでは不要です。文字列型かどうかはChar Value列で指定します。
    • Char Value:フィールドが文字列型かどうかを指定し、インポート時にSQL生成時に引用符を付加します。文字列型の場合はTRUEまたは1、それ以外はFALSEまたは0を入力してください。
    • 備考:CSVファイル内の注釈用で、EMQXへのインポート対象外です。

    CSVファイルのバッチ設定データは2048行を超えないようにしてください。

  3. 入力済みテンプレートファイルを保存し、Import Batch Settingポップアップにアップロード後、Importをクリックしてバッチ設定を完了します。

  4. インポート後、SQL Template内のSQLをさらに調整可能です(テーブル名設定、SQLコードの整形など)。

イベント記録用のTDengine Sinkを使ったルール作成 ​

本節では、クライアントのオンライン/オフライン状態を記録し、イベントデータを設定済みSinkを介してTDengineのemqx_client_eventsテーブルに保存するルール作成方法を示します。

ルール作成手順はメッセージ保存用のTDengine Sinkを使ったルール作成とほぼ同様で、SQLルール構文とSQLテンプレートのみ異なります。

オンライン/オフライン状態記録用のSQLルール構文は以下の通りです:

sql
SELECT
      *,
      now_timestamp('millisecond')  as ts
    FROM 
      "$events/client_connected", "$events/client_disconnected"

SinkのSQLテンプレートは以下の通りです:

上記のSQLテンプレート制限はこのテンプレートにも適用されます。

以下のテンプレートはシングルクォートで囲まれた文字列プレースホルダーを使用しています。SQL文の末尾にセミコロン(;)を付けないでください。

sql
INSERT INTO emqx_client_events(ts, clientid, event) VALUES (
      ${ts},
      '${clientid}',
      '${event}'
    )

ルールのテスト ​

MQTTXを使ってトピックt/1にメッセージを送信し、オンライン/オフラインイベントをトリガーします。

bash
mqttx pub -i emqx_c -t t/1 -m '{ "msg": "hello TDengine" }'

2つのSinkの稼働状況を確認すると、新規の受信メッセージ1件、送信メッセージ1件、イベント記録2件があるはずです。

t_mqtt_msgデータテーブルにデータが書き込まれているか確認します。

bash
taos> select * from t_mqtt_msg;
           ts            |             msgid              |           mqtt_topic           | qos  |            payload             |         arrived         |
==============================================================================================================================================================
 2023-02-13 06:10:53.787 | 0005F48EB5A83865F440000014F... | t/1                            |    0 | { "msg": "hello TDengine" }    | 2023-02-13 06:10:53.787 |
Query OK, 1 row(s) in set (0.002968s)

emqx_client_eventsテーブル:

bash
taos> select * from emqx_client_events;
           ts            |            clientid            |             event              |
============================================================================================
 2023-02-13 06:10:53.777 | emqx_c                         | client.connected               |
 2023-02-13 06:10:53.791 | emqx_c                         | client.disconnected            |
Query OK, 2 row(s) in set (0.002327s)