Data Scraping 데이터 개수에 따른 시간 소요 궁금점

Ask in Your Language Korea RPA 개발자를 위한 공간
1

안녕하세요?

데이터 스크래핑을 하고나서 스크래핑된 데이터를 엑셀에 기입하는 작업을 하고있습니다.

여기서 이상한점은…

데이터스크래핑 Activity에서 MaxNumberOfResult 부분을 100으로 설정한 상태이며

스크래핑 할 데이터가 100개 이상인 것들은 딜레이 없이 바로바로 엑셀에 기입을 하지만,

100개 미만인 데이터, 예를들어 10개~20개 소량의 데이터는 엑셀에 기입하는데 약간의 텀이 있습니다.

100개 이상의 데이터를 기입하는데 30초 정도 소요.

100개 미만, 1~99개 데이터를 기입하는데도 30초 정도 소요

스크래핑한 데이터 양(많고, 적음)에 따라서 엑셀에 기입하는 작업이 유동적으로 바뀌어야 정상이 아닌가요?

제가 소스를 잘못 짠건지, UiPath의 고질적인 문제인지 궁금합니다.

2

@Chang_papa

If data contains more than 100 records then set MaxNoOfResult field to 0.

Yes it will depend on the no.of rows that it contains. If it has more rows then it will take more time to scrape it and then it will write into Excel file.

3

우리 흑형은 다작해서 답변이 얻어걸리길 바라시는건가…

여튼 질문을 상세히 적어주셔서 답변에 힌트를 조금 얻은거 같네요

일단 Uipath에서는 30초라는 시간이 에러를 띄우기전 최소한의 대기시간?찾는시간입니다.

Data Scraping 으로 작업을 하셨으니 기본값으로 ContinueOnError 가 True 값일꺼에요

그러면 뭔가 오류가 발생하는데 무시하고 진행을 하고있다 라는얘기고

해당 오류는 데이터 스크래핑에 방해되지않을만한 요소 라는겁니다 왜냐면 결과값은 정상적으로 떨어지고있으니까요

그럴때 에러를 낼만한 녀석이 뭘까요 ?

멀티페이지를 체크하셨나요?

멀티페이지의 화살표 방향이 아마 셀렉터가 이상하거나 또는 보이는데 클릭이 되지않거나 등의 문제가 예상됩니다.

본문에 적어주신 내용 대로 다양한 케이스의 화살표값들을 체크해보시면 답이 보이실꺼같네요!

1 Like
4

답변 감사합니다!
1개의 데이터와 100개의 데이터가 거의 같은 시간이 소요되어
해결한 방법이… 우선 스크래핑할 데이터에 대한 최대값을 구할수있어 해당 값을 변수에 저장 후
MaxNumberOfResult 부분에 해당 변수를 사용하니 원하는 방향으로 해결되었습니다ㅎㅎ
스크래핑 할 데이터가 개수에 맞게 유동적으로 변하니 훨씬 빨라졌네요

1 Like