【データスクレイピング】グリッド内の要素が複数あるときデータがロストする。

WEBアプリの検索結果をデータスクレイピングで取得したいと思っています。
一見、データを取得しており次ページにも問題なく進んでいるようなのですが、
各ページが50件中20件のデータしか取得できていませんでした。

セレクターとして指定している【GridContent】の階層の下には【role=“presentation”】の要素が2つ存在します。
確認すると、その2つある【role=“presentation”】のはじめの方のデータしか取得できていないような気がします。
(※別の原因があるかもしれないのですが、どのページも最初の20件までしか取得できていないので、、、)

また、【role=“presentation”】をセレクターとして指定すると、データが一件も取得できなくなります。
(エラーは発生せず、ページの遷移も行われ、データテーブルもnullではなくのですが、何も取得できていません。[,]の状態です。)

データスクレイピングでの実現ができないようであれば、別の方法でも構いませんので、
対応策をご教示いただけませんでしょうか。
よろしくお願いいたします。

こんにちは

対象のアプリケーションにもよりますが、
見えたいない部分しかとれていない、あるいは非同期でデータをロードするので
まだ読み込まれていない、等も原因として考えられます。

これらが原因の場合は、例えばページスクロール等と組み合わせたり
あるいはデータスクレいぽイングではなくGetTextアクティビティ等で1行ずつ
読み込んでいく等が考えられるのではと思います。

Yoichi様

早速にご返信くださりありがとうございます。
ご教示いただいた内容でいろいろ確認してみたところ、
非同期でデータをロードする仕組みであることが原因のようでした。

スクロールと合わせてデータスクレイピングでデータを取得できそうです。
大変助かりました。ありがとうございます。

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.