AIに依頼する(Cloud BOT Operator)

NO IMAGE

 ホーム > ユーザガイド > BOT > BOTエディタの使い方 > AIに依頼する(Cloud BOT Operator)

Cloud BOT Operatorとは

ユーザが入力した指示(プロンプト)に従い、AIエージェントが自動的にブラウザ操作を実行する機能です。

Cloud BOT Operatorの実行にはトランザクションを使用します。
※トランザクションについてはこちら
※トランザクションの使用量の目安についてはこちら

Cloud BOT Operatorを実行する

クラウドBOTは、自動操作手順の中でCloud BOT Operatorを実行することが可能です。

タスク内の「Operator」ボタンをクリックすることで、プロンプトの入力ウィンドウが開きます。

任意のプロンプトを入力しOKボタンを押すと、入力したプロンプトに沿ってOperatorを実行するタスクが追加されます。

プロンプト:指示を自然言語で記述します。
取得するデータ:データを取得する場合は、データ名やデータの説明を指定します。

プロンプト入力画面の右下にある設定ボタンをクリックすることで、設定画面が開きます。

モデル:使用するモデルを選択します。
オプション:Cloud BOT Operatorが使用する機能を指定します。
制限設定:Cloud BOT Operatorの実行に関して、上限を指定します。

プロンプト

プロンプトには、Cloud BOT Operatorに行ってほしいことを自然言語で記述します。
対話型ではありませんので、指示はまとめて入力してください。

BOT内データの参照

BOT内のデータとして格納されている値は、${データ名}とすることで参照できます。

「データ参照」ボタンからデータを参照し、プロンプトに挿入できます。

取得するデータ

Cloud BOT Operatorに取得させたいデータのデータ名やデータの説明を指定します。

「データの説明(Operatorが参考にします)」について
取得させたいデータの説明を入力することで、Cloud BOT Operatorがより安定してデータを取得できます。

例:IDを取得したいためデータ名を「ID」と設定しても、実際の画面上では「ユーザ名」など異なる表記がある場合、AIが正しくデータを取得できないことがあります。このような場合は、「データの説明」に「ユーザ名の右に記載されている数字です」など、AIが判断しやすい具体的な位置や特徴を記載してください。

例:「データの説明」には、「このページが何を伝えたいのかをまとめてください」といったように、AIに分析・要約させた結果を格納することも可能です。

モデル

使用するモデルを選択します。

Simple:最軽量でシンプルな操作に適したモデルです。
Assist:標準的な操作に適したモデルです。
Control:複雑な操作に適した高性能モデルです。
Expert:最も高度で難しい操作に適したモデルです。
Legacy (非推奨):旧モデルを使用する必要がある場合に選択します。

各モデルにおいてAutoを選択すると、AIモデルが更新された際に、そのAIモデルが自動で選択されます。

オプション

Operatorが使用する機能を選択できます。

ブラウザ読取
Operatorに仮想ブラウザの情報参照を許可します。
画面上の情報を読み取り、内容の確認やデータ抽出を行う場合に使用します。

ブラウザ操作
Operatorに仮想ブラウザの操作を許可します。
クリック、入力、コピー&ペーストなど、ブラウザ上の操作を行う場合に使用します。

構造認識
Operatorがページの構造をテキスト情報として認識します。
高速な処理が可能で、コストを抑えた運用に適しています。

視覚認識
Operatorがページの見た目を画像情報として視覚的に認識します。
画面上の色や形なども判断できるため、構造認識だけでは対応が難しい画面に有効です。
有効時は、処理時間とコストがやや増加します。

※「構造認識」と「視覚認識」の両方を有効にした場合、通常は構造認識で効率よく処理し、必要に応じて視覚認識を使用します。

推論
Operatorの判断精度を高めます。
判断が難しい画面構成や、複数の条件が関係する操作に有効です。
有効時は、処理時間とコストがやや増加します。

一括処理
Operatorがまとめて処理できる操作を自動で判断し、1ステップで実行します。
フォーム入力やデータのコピーなど、繰り返し処理が多い操作で有効にすると、処理ステップ数を削減し、コストを抑えやすくなります。

Script
OperatorがJavaScriptを生成・実行することを許可します。
通常のブラウザ操作では難しい一括処理やDOM操作、データの加工など、高度な処理に対応できるようになります。

権限制御について

Cloud BOT Operatorに許可する操作の範囲を3段階で設定できます。

オプション設定権限範囲概要
ブラウザ読取ブラウザ操作
全権限プロンプトに応じてブラウザを自由に操作。
×読取権限ブラウザ操作禁止。画面の読み取りのみ可能。
××権限なしブラウザ操作禁止。データ処理のみ可能。

制限設定

Cloud BOT Operatorの実行に関して、上限を指定します。
いずれかの項目が上限に達した場合、タスクがエラーとなります。

実行時間の上限:実行時間の上限を「秒」で設定します。
思考ステップ数の上限:1回の思考と操作を1ステップとして、思考ステップ数の上限を設定します。
トランザクション使用量の上限:トランザクション使用量の上限を設定します。
トランザクション使用量は1思考ステップごとに加算され、累積値が上限を超えた時点でタスクがエラーとなります。上限を超えたステップも最後まで実行されるため、その分のトランザクションも加算されます。

トランザクション使用量の目安

トランザクションの使用量はあくまで目安であり、操作対象のページによって変動します。
1ステップでどの程度のトランザクションを使用するかを必ずご確認ください。

モデル使用するトランザクション量の目安
Simple100~300ステップの思考 / 100トランザクション
Assist30~100ステップの思考 / 100トランザクション
Control10~30ステップの思考 / 100トランザクション
Expert5~15ステップの思考 / 100トランザクション

選択範囲を指定してCloud BOT Operatorを実行する

選択範囲を指定する

選択範囲を指定することで、Cloud BOT Operatorはその範囲内だけを対象に処理を行います。範囲外の情報をCloud BOT Operatorは認知しません。
※選択範囲の調整についてはこちら

複数の選択範囲を指定する

同一構造を繰り返す要素を指定することで、Cloud BOT Operatorはその複数の範囲内だけを対象に処理を行います。範囲外の情報をCloud BOT Operatorは認知しません。
※選択範囲の調整についてはこちら
※同一構造を繰り返す要素の参照は、構造認識モデルでのみご利用いただけます。

プロンプトの例

Cloud BOT Operatorに正しく意図を伝えるためには、「やってほしいこと」を明確かつ端的に、具体的に記述することが重要です。
何をどうしてほしいのか、どのような形で取得してほしいのかなど、必要な情報を簡潔にまとめて入力します。

操作内容プロンプトの例
入力フォームに必要な情報を入力する
※入力に必要な情報は入力値からデータ参照する想定です。
フォームに以下の情報を入力してください。
名前:${名前}
担当者名:${担当者名}
メールアドレス:${メールアドレス}
メルマガ購読:${メルマガ購読}
流入経路:${流入経路}
ボタンをクリックする「送信する」という青いボタンをクリックしてください。
データを取得する会員IDを取得してください。

取得するデータ
データ名:会員ID
データの説明:ユーザ名の右に記載されている数字です。