画像認識について

日本 フォーラム
1

「ＵＩ認識は、画像認識より安定する」といったイメージでおります。
AcademyでもＵＩ認識の優先的に試してみるようなことを言ってたような気がします。
画像認識を使うとどういった事象で不安定になるのでしょうか？
（画像認識は、[画像をクリック]アクティビティのようなものを指しています。）
不安定にならないように工夫の余地はあるのでしょうか？
どういった場合に画像認識を使うのでしょうか？やはり、セレクタがうまく使えない場合に
仕方なく使うような代物といったイメージでいいのでしょうか？

とりとめのない質問で申し訳ありません。
ご指導よろしくお願いいたします。

2

どういった場合に画像認識を扱うかについては、イメージ頂いている内容であっております。下記のUiPath公式の資料にセレクターの優先度や安定化させるためのテクニックが記載されておりますので、こちらをみて頂ければと思います。
セレクターと違い画像認識は実際の画面上で見えている状態でないと認識できないため、対象のウインドウを前面に持ってくる必要があるので注意です。(「アクティベート」アクティビティを使うと操作対象ウインドウを前面に持ってこれます)

image
image893×480 35.3 KB

2 Likes
3

ryuta.hatakeyama様
ご指導ありがとうございます。

大変貴重な情報ありがとうございます。
早速勉強させていただきます。

ちなみに今回の質問の背景なのですが。。。
弊社では、[MotionBoard]という国産BIツールを使っておりまして、ブラウザ上で可視化できるツールなのですが、これとUiPathの連携を検証しておりました。
しかし、セレクタでの連携が出来ませんでした。
泣く泣く画像認識による連携を検討しており、この質問をさせていただいた次第です。
安定性が気になるので、今まで画像認識による連携を使ったことがなく、今回はビビっております。

4

セレクタ取得しようとすると画面全体が選択されてしまう事象でしょうか。プロキシサーバを経由するとセレクターが取得できない事はあります。下記にUiPath社が公表している解決策のナレッジ情報のリンクを展開しますので、ご確認頂ければと思います。

対応頂ければとセレクターが取得できるようになるかもしれません。インターネットオプションでプロキシ通さないように例外に対象URL追加すると解決する事もあります。

画像認識も画面上にしっかり見えていたら精度は結構ありますので、できない事はなさそうと思います。(処理速度が落ちるのでセレクターの方がお勧めですが)

下記記事もプロキシ対応の参考になります。

5

おっしゃる通りです。（改めて[MotionBoard]に触れてよかったです。）
ブラウザ画面全体が選択されてしまう事象です！！
非常～～～に困っておりました（汗）

むちゃくちゃ助かりました！！（興奮）
早速勉強させていただきます。
今回はとても学ぶことが多かったです。
ありがとうございます。

1 Like
6

色々試して上手くいかなければ、また新規でフォーラムに問い合わせお願いします！ :dog2:

7

ryuta.hatakeyama様

承知いたしました。
試行錯誤してみます。
ありがとうございます。

1 Like
8

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.