データスクレイピングの高速化

おはようございます。

楽天ランキングサイトの20位までの金額を取得する
という流れをデータスクレイピング機能を使った抽出を行っております。

ウィザードから作成し、問題なく値の抽出はできるのですが、
毎回取得完了するまでの処理が遅く、何か高速化できる方法は無いかと思っております。

コツや、別の取得方法があれば教えていただきたいです。

よろしくお願いいたします。

こんにちは

可能であれば、具体的なURLや、現在どの程度の時間がかかっていて「遅い」と判断(ハードウェアや
回線、時間帯でも変動すると思いますが)しているか、またどの程度まで高速化したいか等の情報を
共有いただけると良いかと思います。

UI automationのバージョンをあげたりさげたりしてみる…とか

こんにちは
サイトは以下

現在このページの金額情報を取得するのに20秒ほどかかっております。

一桁代にまで早くしたいです。

基本どの時間帯に処理をしてもさほど差は出ないです。

こんにちは

上記ページ:レコード数4件かと思いますが、項目と金額をデータスクレイピングで
取得してみましたが、この部分だけですと手元の環境でデバッグモードで4秒程度でした。

取り急ぎ、Studioのデバッグタブに「アクティビティをログ」オプションがあるので
これをONにすると、各アクティビティの開始終了がログとして記録されます。
デバッグモードで実行して、実行後アウトプットパネルの時計アイコンをクリックすると
時刻が表示されますので、まずはどのアクティビティで時間がかかっているかを確認すると
良いかと思います。

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.