部署的代理評估中未出現評估者

我為我的 UiPath Agent 創建了一個 評估者集,其中包含以下評估者:

  • 精確匹配評估者
  • JSON 評估者
  • 軌跡評估者
  • LLM 作為評判的評估者

如我的評估者集儀表板所示,評估者具有執行結果和分數。

然而,當我導航到 已部署的代理 → 評估(預覽) → 評估者 時,看到消息 「無評估者」。即使在多次運行已部署的代理後,我的評估者仍然不會出現在這個部分。

我想了解:

  1. 為什麼我在評估者集中配置的評估者不會顯示在已部署代理的評估部分?
  2. 是否需要額外步驟來將評估者集鏈接或發布到已部署的代理?
  3. 評估者僅在通過數據集或評估運行觸發評估時出現,而不是正常代理執行時出現?
  4. 我如何查看已部署代理執行的評估結果?
  5. 項目級評估和部署級評估有何區別?
  6. 在 UiPath Maestro 用例中,項目級評估可以如何實際使用? 例如,如果我有一個多代理的 Maestro 流程,評估者可以驗證單個代理的輸出或軌跡,例如:
    • 分流代理
    • 分類代理
    • 保修驗證代理
    • 供應商服務代理

我希望能夠澄清配置評估者、將其與已部署代理關聯、運行評估以及在 Agentic Automation 和 UiPath Maestro 實現中使用評估結果的正確工作流程。

評估者預覽

評估者集中的評估者

嗨 @vikasbaburao.sajjan

評估器集結果與正常代理執行是分開的。

正常運行已部署的代理不會導致評估器出現在評估 → 評估器下。

你需要創建一個評估集,添加你的測試用例和評估器,然後運行評估。結果將在評估結果中可用。

對於Maestro,你可以創建單獨的評估集來測試個別代理並驗證它們的輸出或軌跡。

嗨 @vikasbaburao.sajjan,
您的 評估者集 中的評估者正在 項目級別 工作,這就是為什麼您可以在評估者集儀表板中看到分數的原因。然而,它們並不會自動出現在已部署代理的 評估(預覽) 標籤下。

重要要點如下:

  • 項目級評估 = 用於在開發過程中針對數據集、期望輸出、軌跡和提示測試和基準代理。
  • 部署級評估 = 用於評估已部署代理的執行。評估者必須明確與已部署代理關聯。
  • 簡單運行已部署代理並不會自動創建評估運行。
  • “沒有評估者” 的消息通常意味著該已部署代理沒有配置部署級評估者或評估運行。

您可以創建的正確工作流程:

  1. 創建 評估者集。
  2. 針對 數據集/評估運行 運行評估。
  3. 檢查分數並優化提示/代理行為。
  4. 部署代理。
  5. 配置部署級評估者(如果在您的租戶/版本中可用)並針對部署運行評估工作。

Maestro 使用案例

項目級評估者在 Maestro 中對於驗證單個代理輸出非常有用:

  • 分流代理 → 檢查路由準確性。
  • 分類代理 → 精確匹配或 LLM 評審驗證。
  • 保修驗證代理 → JSON/模式正確性。
  • 供應商服務代理 → 響應質量和軌跡評估。

這使您能夠在將它們組合成端到端 Maestro 工作流程之前獨立測試每個代理。

為什麼您在評估者集中看到結果而不是在已部署代理中

截圖顯示,由於評估者作為 評估者集運行的一部分執行,因此結果出現在評估者儀表板中,而不是在 已部署代理 → 評估(預覽) 中。

謝謝