Data Scraping 정확도에 끼치는 요인은?

Ask in Your Language Korea RPA 개발자를 위한 공간
1

안녕하세요

Data Scraping 후 해당 데이터를 필터링 하여 엑셀에 입력하는 작업을 하고있습니다.
1000개의 url이 있고 각 url에 접속 하면 Scraping할 데이터가 적게는 1~10개 많게는 60~70개 있습니다.
for문으로 각 url에 대한 웹 접속 후(크롬) → 데이터 스크래핑(페이징 있음) → 필터 작업 → 데이터테이블 초기화
크게 이런 프로세스를 반복하고 있습니다.

여기서 문제점은… for문이 약 100회 정도 실행 후 중지하고 실제 데이터와 비교하여 데이터가 잘 들어왔는지 점검해보면 아무이상 없는데
1000개 모두가 돌고 나서 실제 데이터와 비교해보면, 꼭 몇개는 누락되어 있거나 중복되는 데이터가 곳곳에 보입니다.

궁금한점은
Data Scraping 시 데이터가 정확도가 떨어지는 요소가 무엇이 있을까요?
예를 들자면 페이징을 넘기는 속도? 브라우저의 종류? UiPath의 고질적인 문제 및 버그?
UiPath로 Data Scraping 할 때 결과에 대한 신뢰성이 너무 떨어집니다…
해결책이 없을까요?

2

혹시 데이터가 뿌려지는 필드에 값이 다 뿌려진 후 스크래핑 작업을 진행하도록 트리거를 넣어주셨나요 ?

페이지가 다 로드되지 않은상태에서 잘 긁어와서 누락되는 경우가 발생되는건 아닌가 싶네요

말씀하신대로 URL이 100개 정도는 PC가 잘 버티겠지만 넘기면 점점 엑세스 하는 속도가 떨어지면서

셀렉터는 잘 잡는데 데이터가 아직 안불러져서 그대로 읽어버리는 경우가 아닐까 의심됩니다.