Studio X 2024.10.4を利用しています。
赤丸箇所のフィルタボタンを押したいのですが、エラーとなります。
アプリの中で表アプリ(Excel等)を呼び出して表示しているように見えるので、その影響かと推測しましたが、どうにも上手く動かず困っております。
【試したこと】
・プロパティ-オプションの入力モードは全て試しました。(シミュレート、ハードウェアイベント等)
・アプリ/Webレコーダー
・厳密セレクターの編集で、 非貪欲検索(idx=‘*’)を試しました。
対処方法をアドバイス頂けますと幸いです。
Yoichi
(Yoichi)
2
こんにちは
まず厳密セレクター主体で行くなら、アンカーなしで指定してみてどうなるか確認してみてはと思います。
その上で、
・UiExplorerで対象を指定した場合のセレクター情報
・アプリケーション・ブラウザを使用アクティビティの設定
あたりも共有いただくと良いかと思います。
こんにちは。
ご返信頂き誠にありがとうございます。
アンカーなしで指定してみたのですが、"このアクションのユーザーインターフェイス要素を一意に識別できませんでした。"のエラーとなりました。
・UiExplorerで対象を指定した場合のセレクター情報
⇒勉強不足で恐縮ですが、添付の情報でよろしかったでしょうか
対象がオレンジ色枠で囲まれる強調表示を有効化しましたが、クリックしたい箇所だけが囲まれることはなく、表全体を囲むことしか出来ませんでした。
・アプリケーション・ブラウザを使用アクティビティの設定
⇒アプリケーションのプロパティ設定についても添付させていただきました。
恐れ入りますが、ご確認いただけますと幸いです。
すみません。
"アプリケーションを使用"の統合アプリケーションターゲットの設定が表示されていなかったので、再送させていただきます。
Yoichi
(Yoichi)
5
こんにちは
状況としては別のウインドウを見に行っているように思えます。
取り急ぎアプリケーション・ブラウザ使用アクティビティのウインドウアタッチモードをSingleWindowにした上で、再度クリックアクティビティで要素指定してもらえますでしょうか?
ご回答誠にありがとうございます。
アプリケーション・ブラウザ使用アクティビティのウィンドウアタッチモードを単一ウィンドウに変更しましたが、同様にエラーとなりました。(クリックアクティビティのアンカー有り無し両パターンでエラーでした)
クリックアクティビティはターゲット指定したのみでプロパティは変更していないため、ターゲットメソッドは"Computer VIsion"となっておりますが、クリックアクティビティについてはこちらの設定でも問題なかったでしょうか
アプリ側の動作としましては、
jm.exeを実行→訪問予定表メニューを選択→zcyotei.exeの呼び出し
→表示された一覧のフィルタをクリック
という流れになっておりますので、ご指摘いただいたように2つのウィンドウが立ち上がっている状態になっております。
どうぞよろしくお願い致します。
すみません。
補足させていただきますと、現状エラーとなっているクリック操作をする前に、zcyotei.exeにて印字内容のコメントを追加する処理も実施しているのですが、そちらの処理自体は問題なく動作しております。
Yoichi
(Yoichi)
8
まずアプリケーションブラウザを使用ですが、セレクターに例えばtitle属性を追加して一意に特定可能させることは可能でしょうか?(title属性の追加には、UiExplorerを使用ください)
次にクリックアクティビティですが、アンカーはなしにして、厳密セレクター一本で試した方が良いかと思います。上記ですと、ComputerVision一本になっているように思えます。
ちなみにUiExplorerから、対象要素を指定して、要素の強調表示をONにすると、指定した場所がハイライトされていますでしょうか?
ご回答誠にありがとうございます。
"アプリケーションブラウザを使用"のセレクターにtitle属性の付与は可能でしたので、付与いたしました。
また、クリックアクティビティにつきましては、アンカーなしにして厳密セレクターのみとしました。ただ、厳密セレクターの設定をセレクターエディターの"要素を選択"からしようとすると、クリックしたい箇所(一番最初に送付した画像の赤丸箇所のフィルタアイコン)のみを選択することができなかった(UIフレームワークを切り替えても不可であった)為、"画像領域の選択"からフィルタアイコンの箇所のみを範囲指定して厳密セレクターの設定を実施しております。
その状態で、要素の強調表示をONにしても指定した場所("画像領域の選択"で範囲指定したフィルタアイコンの箇所)ではなく、一覧全体のハイライトとなってしまっております。
何度も訂正すみません。
ターゲットメソッドがComputerVisionになっていたので、厳密セレクターのみとすると"ターゲットを再指定してください"というエラーになってしまいます。
Yoichi
(Yoichi)
11
画像領域選択しているからかと思います。
現状からすると
・表全体の枠を指定して、例えば左上からの相対座標を指定して対象をクリックする
・画像認識あるいはComputerVisionを使用する(この場合は画像領域指定を使います)
のいずれかの指定になるかと思います。
ご回答ありがとうございます。
勉強不足で申し訳ございません。
画像領域指定を使う場合には、ターゲットメソッドはComputerVisionにする必要があるということですね。
ターゲットメソッドにComputerVisionのみを設定した場合、プロパティの"厳密セレクター"の設定は必要なくなる、という認識でよいのでしょうか
"画面上でターゲットを指定"する際に、"すべてのCV要素を表示"をクリックすると該当のフィルタアイコンのみでハイライトされているので、ComputerVisionで指定できそうな気がするのですが、まだ何か不足している設定がございますでしょうか
Yoichi
(Yoichi)
13
厳密には画像領域指定は「画像」メソッドになります。
ComputerVisionは対象がテキストやアイコン等を自動識別して対象を特定しますが、上記だとアンカーが無いと難しいかもしれません。ただどこにアンカー打つかも難しく、漢字などは正しく認識されない可能性があります。
画面解像度や拡大率等に影響されますが、厳密セレクター+座標オフセットの方が安定する場合もあります。
ご回答ありがとうございます。
アンカーを漢字が含まれない箇所に指定したら上手く認識してくれました!
色々とご教示いただきまして誠にありがとうございました!