關於選取下一頁並抓取Data的問題

大家好,我最近剛開始學習使用uiPath進行網路爬蟲,
目前我正在練習到eBay上爬取相關資料
這是我要爬取資料的網頁
筆電販售

現在我卡在一個問題上,我從第二頁開始抓取資料,並設定要抓取200筆,但程式跑到第三頁後就不再點選下一頁繼續抓取資料了,我想問是不是我的"NextLinkSelector"哪裡設定錯了?

他僅抓取96筆(一頁有48筆)後就停止了
能麻煩大家幫我看一下嗎?謝謝

Hi @tso1963172

Use DataScrapping method while click on page wise spanning of pages click on yes and do it

Thanks
Ashwin.S

this is my NextLinkSelector…

webctrl css-selector=‘body>div>div>div>section>div>nav>a’ href=‘https://www.ebay.com/b/Laptops-Netbooks/175672/bn_1648276?_pgn=3’ parentid=‘w7-w1’ tag=‘A’

Hi, 你好,确实你的Selector不正确,请尝试使用以下selector:
<webctrl parentid='w7-w1' tag='svg' class='ebayui-image-chevron-light-right' />

您好,我嘗試過您給的Selector,還是沒有辦法順利執行跳頁
webctrl css-selector=‘body>div>div>div>section>div>nav>a’ href=‘https://www.ebay.com/b/Laptops-Netbooks/175672/bn_1648276?_pgn=3 ’ parentid=‘w7-w1’ tag=‘A’

也有人提議我將pgn=3改成pgn=*,這個也沒辦法,資料會在第二頁和第三頁之間重複抓取直到抓滿我設定的資料筆數

您好,我尝试了一下,我的selector是可以抓取到数据的哦

@Jo.Ou 請問您是使用什麼Browser呢?
或您願意將檔案分享讓我研究一下?謝謝您

您好,我是使用chrome作为测试的。Main.xaml (10.6 KB)
这是我的测试流程,您可以down下来试一下

@Jo.Ou 非常感謝您的幫忙,您的範例檔案是可以正常執行的!

我有幾個問題想要請教您,希望您多多指教
1.我設定了機器人啟動後自動開啟網頁並開始爬蟲,但是機器人從自動開啟Browser到抓取200筆資料結束流程,他都停在page1沒有跳動到page2、page3過,請問這是正常的嗎?
(我看過抓取的資料,並沒有重複,應該不是重複抓取第一頁的資料直到塞滿200筆)

2.您是如何找到"正確"的Selector呢?我是按照uiPath給的流程去選取NextLinkSelector,但很明顯他給的是錯誤的

謝謝您,期待您的回覆。

Hi, 您好

  1. 如果您已经设置了NextLinkSelector,那么没有跳转到下一页是肯定不正常的。你可以看看抓出来的資料是否够200筆
    2.UiPath本身的流程没有错,只是Amazon的“下一页”按钮比较tricky,他的超链接是直接写死了下一页的页码,所以你如果Selector选择的是a,那href肯定是不可以的。我所给出的範例只不过是选取了更具体的element,也就是svg,而不是a
1 Like

@Jo.Ou 了解,非常感謝您的解說,太感謝您了!