表データの抽出について

初めて質問します。

特殊なブラウザアプリであれば「表データを抽出の”次へ”は使わない」という記事を見てますのでそれがいいのかもしれませんが、
”次へ”を使った時の簡単さを取り入れたく、どうにかできないか教えていただけたらと思います。

自社の業務ブラウザアプリの一覧からデータを抽出しようとしています。
「次へ」のアンカーはありますが、最終ページになっても消えてくれません。
アクティビティは「表データを抽出」を使い、プロパティで項目数を400に設定しています。
※1ページの行数は人によって変更でき現状はMAXの50を設定。
抽出した後にExtraDataTableをエクセルに書き込みます。

全データが304件(7ページ)ある状態で動かしたところ、7ページ目を何度も抽出しているように見えます。これはブラウザをクリックするとなぜか止まり、エクセル書き込みに移りました。

エクセルを確認したところ、304件以降、301~304(7ページ目)が繰り返し書き込まれています。

抽出がきっちり304件になるにはどのあたりでどうすればいいでしょうか。

こんにちは

上限が400件に設定されているので、304件を読み込んでも、次へを押し、読み込み続けます。
ブラウザをクリックしたことはおそらく関係なく、件数が400件に到達したので停止したと
思われます。

特殊なブラウザアプリであれば「表データを抽出の”次へ”は使わない」という記事を見てますのでそれがいいのかもしれませんが、

スクレイピングの前にページ数や行数があらかじめ把握できれば、それを上限にすれば良いと
思いますが、把握できず、「次へ」の仕様が上記でしたら、使わない方が無難と思います。
(自力で終了判定を行う)

1 Like

リプ、ありがとうございます。このアクティビティだけではできなさそうなんですね。
何も検証してないですが、データテーブルの重複削除というのもあるみたいで、それとの組み合わせでなんとかしようと思います。