いつも勉強させていただいております。
今回は画像クリックの繰り返しができないかご相談です。
下記画像のようにJavaで起動するアプリの自動化を行っていますが、要素認識ができないため、画像認識で処理を検討しています。
最右列を上から順番にクリックしていきたいのですが、画像をクリックしか使えないため、繰り返しができず苦戦しております。
60行ほど繰り返したいのですが、ひとつずつ画像をクリックで処理するしかないでしょうか。
モダンデザインのクリックやクリックの画像領域で選択等も試しましたが上手くいきませんでした。
何かご存知の方がいらっしゃいましたらご教示いただかますと幸いです。
よろしくお願いいたします。
こんにちは
Javaの拡張機能導入しても要素取れないでしょうか？
複数の画像を順次処理したいのであれば、FindImageMatchesアクティビティが使えるかもしれません。
Yoichiさん、いつもありがとうございます。
Java向け拡張機能はすでにインストールしているのですが、要素認識できないです。
また、「Find Image Matches」のご提案ありがとうございます。
一度検討したのですが、結局ひとつずつスクリーンショットを指定していくことになると思い、それだとひとつずつクリックしていくのと変わらないと考えたのですが、いかがでしょうか？
Yoichiさんは別の方法で使われることをイメージされていますか？
よろしければご教示いただけますと嬉しいです。
こんにちは
最初のPOSTの画像ですと、画像は同一に見えますが、実際はどうでしょうか？
同一ならFind Image Matchesで複数の画像のUiElementが返ってくるので、これを繰り返しで順次処理すれば良いかと思います。
Yoichiさん、ご返信ありがとうございます。
私の説明不足で申し訳ございません。
最右列をクリックしていきたいのですが、黒掛けの部分は共通ですが、番号が変わっていきます。
画像認識だと番号が違うと別の画像として認識されてしまうので悩んでおりました。
こんにちは
左端のアイコンかと思っていました。
画像検索の前に、ネイティブモードでテキストが取れないか、あるいはOCRで精度よく取れ
ないかの確認を行った方が良いかと思います。
クラシックなら、スクリーンスクレイピングウィザードを立ち上げ、Nativeモードで各テキストを取得できないかを確認します。これが取れそうでしたら、各テキストが座標付きで取得できますので、これを元に処理します。モダンの場合は、通所のテキスト取得で取ってから、preview extractionのメニューから確認できると思います。
OCRも同様ですが、精度が課題になると思います。
画像のサイズが変わらなくて、文字サイズとかにばらつきがないのなら単なる座標計算でいいのでは・・
xは固定でしょうしｙは高さ＊行数で出せるのでオフセット指定してClickすればいいだけのような気がしますが・・
