UI Automation の統合ターゲットでComputer Visionが日本語を認識しない

[system]

Question

UiPath.UIAutomation.Activities パッケージの『クリック』アクティビティなどでUI要素を指定する際に、セレクターとComputer Visionを組み合わせて指定したいです。

Computer Visionで英数字は認識できますが、日本語を認識できません。Computer Visionで日本語を認識できるようにするためにはどうしたらいいですか？

Answer

『アプリケーション/ブラウザーを使用』アクティビティに日本語を認識できるOCRを指定することで、Computer Visionも日本語を認識できるようになります。

日本語を認識するOCRとして、UiPath Extended Languages OCRを推奨します。
『UiPath Extended Languages OCR』は、UiPath.OCR.Activitiesパッケージの v3.21.1以降で一般公開され、UiPath.UIAutomation.Activities パッケージの v24.10.5以降に組み込まれております。

『OCR - Japanese, Chinese, Korean』でも日本語を認識できますが、2025年1月より非推奨となる予定です。

概要 - 非推奨化のタイムライン

統合ターゲットでUiPath Extended Languages OCRを利用するための設定手順

1. 組織管理者としてAutomation Cloudにログインし、以下いずれかのAPIキーを取得します。

   • Automation Cloudポータル > 管理 > ライセンス > 消費状況 > AIユニット > APIキー
   • Automation Cloudポータル > 管理 > ライセンス > ロボットとサービス > Computer Vision > APIキー
     
     

2. Studioで新しいプロジェクトを作成し、「パッケージを管理」よりUiPath.UIAutomation.Activities パッケージのバージョンを24.10.5以降に設定します。

3. 『アプリケーション/ブラウザーを使用』アクティビティで自動化するアプリケーションを指定した後に、右上三本線アイコンからオプションメニューを開き、OCRエンジン > カスタムOCRエンジンを選択します。OCRエンジンアクティビティをドロップできる箇所が表示されます。
   

   

4. アクティビティパネルで『UiPath Extended Languages OCR』を検索し、『アプリケーション/ブラウザーを使用』アクティビティのOCRエンジンドロップ箇所にドロップします。
   手順1番で取得したAPIキーを、『UiPath Extended Languages OCR』の「APIキー」プロパティに設定します。
   ※「エンドポイント」プロパティは、プロジェクト設定の既定値を利用できるので空欄のままで大丈夫です。
   

   

5. 『クリック』アクティビティ等で、再び画面上でターゲットを指定し、Computer Visionで日本語テキストを認識できるようになったことを確認します。