データスクレイピングで3ページ分のデータを取得したい

いつもお世話になっております。あるサイトで3ページ分のデータを取得したいと思っていまして、データスクレイピングの機能で複数ページのデータを取得する機能を使い、条件分岐で3ページ目を越えたらループを抜ける処理を作ったのですが、最終ページまでデータを取得する形になってしまいます。
これを指定した回数分でデータを取れるようにしたいのですが何か方法はありますでしょうか?
よろしくお願いします。

こんにちは

データスクレイピングの機能で複数ページのデータを取得する機能を使い、条件分岐で3ページ目を越えたらループを抜ける処理を作ったのですが、最終ページまでデータを取得する形になってしまいます。

どのように組まれていますか?
Classicの場合、複数ページの取得を行うと、上限行数まで取得してしまうので、ページ数のコントロールはできないかと思いまう。この場合、1ページずつスクレイピングして、ページ遷移は自力で実装する形になるかと思います。

一方Modernの最新のUiAutomationですと、取得ページ数の上限を設定できるので、これを使うと良いかと思います。

1ページ分の件数が都度変わらないとして、その件数✖️3を取得つ数にするのはどうでしょう?

1 Like

ご回答ありがとうございます。
Yoichi様の方法で実装してみたのですが、抽出数の制限を最大ページ数にして3ページ分データを取りたいので項目数を3にすれば希望のページ分のデータを取ることができるのでしょうか?
一応そのやり方で実装してみたのですが1ページ目は取得できたのですが、2ページ目、3ページ目は取得できませんでした。何かやり方が違うのでしょうか?

こんにちは

次へボタンの設定は完了していますでしょうか?また実際に実行した際に画面は遷移していますでしょうか?
結果を追加プロパティは念のためチェックを入れたほうが良いかもしれません。

次へボタンの設定は完了していますが、実際に画面は遷移していないです。
また結果を追加にチェックして実行してみたのですが、実際のweb上のデータとスクレイピングしたデータが異なる形で出力されました。

こんにちは

ページ数上限設定は影響ないと思いますが、まずは遷移しない原因について調査・解消する
必要があるかと思います。

次へボタンの要素を取り直したら指定回数分遷移させることができました。ありがとうございます。

2 Likes