UiPath 데이터 스크래핑 하면 결과가 10개만 나옵니다

Help Studio
, ,
1

안녕하세요

네이버지도에서 검색결과를 크롤링을 하려고 합니다.
한 페이지에 50건의 결과가 나오는데 데이터 스크래핑을 하면 미리보기에서는 50건의 데이터가 전부 수집되는데,
디버깅을 돌리면 10개씩만 수집이 되고 다음 페이지로 넘어갑니다.
어떻게 수정해야 할까요…

2

@kiki

*Use the Extract Structured Data activity. This activity can be used to extract data from a web page or other document. The Extract Structured Data activity takes a selector as input, and it will extract the data that is associated with the specified selector.

3

I’ve already used it! My question was to ask the result of that.

4

@kiki

  1. After navigating to the search results page, use the “Wait for Element” or “On Element Appear” activity to wait for a specific element that indicates the loading of additional results or the presence of the 50 results.
  2. Set the timeout of the “Wait for Element” or “On Element Appear” activity to a reasonable value that allows enough time for the dynamic content to load. You may need to adjust this value based on the website’s loading speed.
  3. Once the element is found (indicating that the dynamic content has loaded), proceed with the data scraping activities to collect all 50 results
5

아!!! 아래에 있는 데이터는 스크롤을 내려야해서 셀렉터가 안 잡혔던 것 같습니다.
밑에 있던 요소들은 아래와 같이 class가 달랐습니다.

혹시 스크롤을 내리고 데이터 스크래핑을 해야하는 방법을 알려주실 수 있나요?

6

Hi @kiki

check how many row are printing by using the below condiiton in UiPath.

datatable.Rows.Count

Check how many rows are getting printed.

Regards,

7

@kiki

I could not see anything you put.

Please go through the end of the webpage and indicate on a cell.So that it will extract all the data in the webpage

8

저도 UIPath를 잘 사용하는데, 최근에 인터넷 옵션이 바뀐것인지, 10개밖에 수합이 안 됩니다. 아예 스크롤링하면, 계속 보이기만 하고 기존에 있던, 1,2,3,…이런 페이지들이 나오지가 않습니다. UiPath내에 데이타 스크롤링에는 지원하지 않는 기능인데, 대략 난감합니다. 인터넷 사용자는 편하지만, RPA로 구현하려고 하니 이런 문제점이 있네요. 어떻게 해결을 할 수 있을런지…ㅠㅠ