ニュースサイト等で無限スクロールするウェブサイトのスクレイピングに関する質問です。
send Hotkeyのpgdnでスクロールを可能なのですが、
ページ最下部の判定はどうすればいいのでしょうか?
当フォーラムのトピック欄の最下部、
【There are no more フォーラム topics. Why not create a topic?.】
のように特定の文言があれば分かりそうなのですが、
ない場合のウェブサイトをスクレイピングしたいです。
ニュースサイト等で無限スクロールするウェブサイトのスクレイピングに関する質問です。
send Hotkeyのpgdnでスクロールを可能なのですが、
ページ最下部の判定はどうすればいいのでしょうか?
当フォーラムのトピック欄の最下部、
【There are no more フォーラム topics. Why not create a topic?.】
のように特定の文言があれば分かりそうなのですが、
ない場合のウェブサイトをスクレイピングしたいです。
最下部にいったら、表示される項目があれば、それが出現するまで繰り返すで、良いと思いますが、
無いのですね。
・特定の位置(xy軸座標で取得?)の画像を取得して、スクロール後に同じ箇所の画像を取得して、画像が変化していなかったら終了
とかですかね・・・
アドバイスありがとうございます。
試行錯誤してみます。
複数回スクロールして
最後のスクロール失敗時に分岐して、
スクレイピングに移るのはどうでしょうか?