Skip to content

LLMベースのMQTTデータ処理

注意

LLMベースのMQTTデータ処理は、EMQXバージョン5.91以降のDedicatedおよびDedicated Flexエディションで利用可能です。

Flowデザイナーは、OpenAI GPTやAnthropic Claudeなどの大規模言語モデル(LLM)との統合をサポートしています。この機能により、ログの要約、センサーデータの分類、MQTTメッセージの拡張、リアルタイムインサイトの生成など、自然言語プロンプトを用いてインテリジェントなメッセージフローを構築できます。

機能概要

FlowデザイナーのLLMベース処理ノードは、外部のLLM APIに接続してメッセージ内容を処理するAI搭載コンポーネントです。これらのノードを使うことで、MQTTデータをgpt-4oclaude-3-sonnetなどのモデルに送信し、応答を受け取ってフロー内の下流に渡すことが可能です。

注意

LLMの呼び出しとデータ処理には時間がかかります。処理全体で数秒から10秒以上かかる場合があり、モデルの応答速度に依存します。そのため、LLM処理ノードは高いメッセージスループット(TPS)が求められるシナリオには適していません。

主要な概念

  • LLMプロバイダー:AIサービス(OpenAI / Anthropic)用の名前付き設定。
  • Completionプロファイル:LLMモデルのパラメータ(モデルID、システムプロンプト、トークン制限など)をまとめた再利用可能な設定。
  • AI Completionノード:LLMに入力を送信し、その結果をユーザー定義のエイリアスとして保存するフローコンポーネント。
  • ai_completion:テキストやバイナリデータをLLMに送信し、応答を返すRule SQL関数。

動作の仕組み

FlowデザイナーでMQTTメッセージを受信すると、AI Completionノードは内部で組み込みのSQL関数ai_completion/2,3を呼び出し、設定されたLLMにデータを送信します。

  1. メッセージはMessagesノード(例:トピックをサブスクライブ)を通じてフローに入ります。

  2. Data Processingノード(任意)でdevice_idpayloadtimestampなどのフィールドを抽出または変換できます。

  3. OpenAIまたはAnthropicノードは、背後でai_completion関数を使い以下を実行します:

    • 選択されたCompletionプロファイル(プロバイダー情報、モデル名、システムメッセージ、その他パラメータ)を参照。
    • 選択された入力(例:payload)をLLMに送信。
    • LLM APIからの応答(例:要約や分類結果)を受信。
  4. 応答はOutput Result Aliasに保存され、以下のような下流ノードで利用可能になります:

    • Republish(別トピックにパブリッシュする)
    • Database(PostgreSQL、MongoDBなどに結果を挿入)
    • Bridge(リモートブローカーやクラウドサービスへ転送)

対応LLMプロバイダー

EMQX 5.10.0では以下のプロバイダーをサポートしています:

  • OpenAI:GPT-3.5、GPT-4、GPT-4oなど
  • Anthropic:Claude 3モデル

LLMベース処理ノードの設定

FlowデザイナーでLLMを使用するには、OpenAIノードまたはAnthropicノードのいずれかを選択して専用の処理ノードを設定する必要があります。各ノードでは、MQTTメッセージデータをLLMに送信する方法、使用する入力フィールド、システムプロンプトによるモデルの動作指定、AI生成結果の保存先を定義できます。設定後、これらのノードは背後でai_completion関数をシームレスに呼び出し、選択したLLMでデータを処理します。

OpenAIノードの設定

OpenAIノードを使用するには:

  1. ProcessingパネルからOpenAIノードをドラッグします。

  2. ソースまたは前処理ノードに接続します。

  3. 以下の項目を設定します:

    • Input:ソースフィールドを入力または選択します。選択肢はeventidclientidusernamepayloadなどです。

    • System Message:AIモデルに期待される出力を生成させるためのプロンプトメッセージを入力します。例:「入力JSONデータの数値キーの値を合計し、結果のみを出力してください」。

    • Model:LLMプロバイダーのモデルを選択します。例:gpt-4ogpt-3.5-turbo

    • API Key:OpenAIのAPIキーを入力します。

    • Base URL:カスタムエンドポイントを任意で入力します。空欄の場合はOpenAIのデフォルトエンドポイントが使用されます。

    • Output Result Alias:LLMの出力を保持する変数名です。アクションや後続処理で参照するために使用します。例:summary

      TIP

      エイリアスに英数字とアンダースコア以外の文字が含まれる場合、数字で始まる場合、またはSQLキーワードの場合は、必ずダブルクォーテーションで囲んでください。

  4. 保存をクリックして設定を適用します。

Anthropicノードの設定

Anthropicノードを使用するには:

  1. ProcessingパネルからAnthropicノードをドラッグします。

  2. メッセージ入力ノードまたはData Processingノードに接続します。

  3. 以下の項目を入力します:

    • Input:ソースフィールドを入力または選択します。選択肢はeventidclientidusernamepayloadなどです。

    • System Message:AIモデルに期待される出力を生成させるためのプロンプトメッセージを入力します。例:「入力JSONデータの数値キーの値を合計し、結果のみを出力してください」。

    • Model:LLMプロバイダーのモデルを選択します。例:claude-3-sonnet-20240620

    • Max Tokens:応答の長さを制御します(デフォルト:100)。

    • Anthropic Version:Anthropicのバージョンを選択します(デフォルト:2023-06-01)。

    • API Key:AnthropicのAPIキーを入力します。

    • Base URL:カスタムエンドポイントを任意で入力します。空欄の場合はAnthropicのデフォルトエンドポイントが使用されます。

    • Output Result Alias:LLMの出力を保持する変数名です。アクションや後続処理で参照するために使用します。例:summary

      TIP

      エイリアスに英数字とアンダースコア以外の文字が含まれる場合、数字で始まる場合、またはSQLキーワードの場合は、必ずダブルクォーテーションで囲んでください。

  4. 保存をクリックして設定を適用します。

クイックスタート

以下の2つの例は、FlowデザイナーでLLMベース処理ノードを使ったフローの迅速な構築とテスト方法を示しています: