リモートデスクトップで動くIEでTypeIntoアクティビティを使う際の注意点

日本 フォーラム
1

こんにちは
UiPath Studio 2024.10 enterprise editionを使い、クラシックデザインアクティビティで、RemoteRuntimeがインストールされていない環境でリモートデスクトップで動くIEを操作するプロジェクトを開発しています。

リモートデスクトップで動くIEに文字列入力する方法をCopilotに相談すると下記の回答を得ました。（Copilotの中でも賢いと言われるGPT-5を使いました。）

-----ここから----

:light_bulb: UiPathの「Type Into」挙動とリモート環境

  • 通常の環境（ローカルPC）
    Type Into はキーボード入力をシミュレートして、対象のUI要素に直接文字列を送信できます。クリップボードを経由する必要はありません。

  • リモートデスクトップ環境（RDP）＋ Remote Runtime未導入
    この場合、UiPathはリモートセッション内のUI要素を直接認識できません。クラシックアクティビティでIEを操作しようとしても、セレクタが正しく取得できず、結果的に「直接入力」はできません。
    → 実際には 画像ベースの操作（OCRや画面座標指定）や Send Hotkey を組み合わせる必要があり、安定性は低くなります。

:white_check_mark: 結論

Remote Runtimeをインストールしていない状態では、
「Type Into」でリモートデスクトップのIEに直接文字列を入力することはできません。

----ここまで-----

実際にワークフローでTypeIntoアクティビティでリモートデスクトップ環境のIEに文字列入力すると、クリップボードを経由しなくても、直接文字入力できました！
Copilotの回答は間違っているという認識で正しいですか?

2

間違っているかどうかを判断するには、もう少し情報が必要だと思います。
Type Into を使用する際、入力方式は何を選択していますか？
例えば Hardware Events や SimulateType などがあります。

Hardware Events を利用している場合は、RDP ウィンドウが最前面でフォーカスされており、
かつリモート側の目的の UI にフォーカスが当たっていれば、
RDP ウィンドウを経由して文字をハードウェアイベントとして入力できるかと思います。
この挙動は、人が実際にキーボードを操作するのとほぼ同じです。

一方で、Copilot の回答の文脈を見る限り、SimulateType を前提にした説明だと思われます。
この場合は UI 要素に対するシミュレート入力となるため、
RDP ウィンドウ越しではロボットがリモート側のブラウザ を認識できず、
ブラウザ内のUIに対してシュミレート入力できない挙動になると考えられます。

Whether this is correct depends on the Type Into input method being used.
Could you confirm whether Hardware Events or SimulateType is selected?

With Hardware Events, as long as the RDP window is in the foreground and the target control has focus,
text can be typed through the RDP session just like normal keyboard input.

Copilot’s explanation appears to be based on SimulateType,
which relies on UI Automation. In this case, the robot cannot interact with UI elements inside an RDP session,
so typing does not work.

3

今回はRemoteRunTimeを導入していないRDPウィンドウを前提にした質問だと最初に明記しています。この前提で入力メソッドがSimulateType はあり得ないのでは？
取り得る正解はHardwareEvent一択と思いますがいかがでしょうか。

4

今回のご質問は、「Copilot の説明が正しいかどうか」を確認する趣旨だと理解していますので、
実務上どの入力方式が現実的か、という観点で整理してお話ししたものではありません。

また、Copilot の説明から察するに、Remote Runtime がない環境における UiPath の Type Into の入力方式については、
前提条件が十分に考慮されていないように私としては感じました。
そのため、実際の挙動と一致しない点があり、その補足を目的として投稿しています。

ご指摘のとおり、実務に即して考えるのであれば、
Remote Runtime がない環境で実際に入力が成立するのは Hardware Events ベースの方法になります。

そして結論としては、Copilot の説明は正しいと考えます。
技術的には、入力は必ず RDP ウィンドウを介してキーボードイベントとしてリモート側に転送されるため、
ローカル端末からは RDP ウィンドウに対してキーボードイベントを送信しているだけとなります。
この挙動は、UI 要素に対する技術的な「直接入力」には該当しないと判断しています。

My understanding is that this question is about whether Copilot’s explanation is correct,
not about which input method is most practical in real-world usage.

Copilot’s explanation seems to omit the assumptions related to Type Into input methods when Remote Runtime is not installed,
which leads to differences from actual behavior. This is the context I wanted to clarify.

As you mentioned, in practice, without Remote Runtime, only Hardware Events–based input works.

In summary, Copilot’s explanation is correct: input is always forwarded as keyboard events through the RDP window,
meaning the local machine is not directly interacting with remote UI elements.

5

私にはCopilotが質問内容を十分理解しないまま、回答してしまったように思えます。
これは『Copilotが誤った回答をした』という意味になります。
貴殿がどうして私とは真逆の判断をされたのか理解しかねますので、返信はご遠慮ください。
“As I cannot understand why you have made a judgment completely opposite to mine, I cannot help asking you to refrain from replying.”

1 Like
Forum Engagement Daily Reports
6

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.