検索サイトのウェブスクレーピング結果を更新する方法

交通費検索サイトで、結果を表示した後、Excelシートへ
ルート1の情報(1行目の1項目:金額だけウェブスクレーピング)の
金額のみ書き込みたいです。
方法としては、1.結果を表示 2.結果をウェブスクレーピング 3.金額取り出す
4.excelに書き込み 5.2行目以降を繰り返し になると思います。
ただ、1行目を実施したときは、書き込みします。2行目になったとき、
ウェブスクレーピングがうまく更新されないため、書き込みの際、1行目の結果が
2行目に書き込まれてしまいます。良い方法ご存じでしょうか?
Excelデータ


プログラム
キャプチャ2
キャプチャ3
キャプチャ2-1

ウェブスクレーピングと構造化データのところについて
ウェブスクレーピングのセレクターエディター
キャプチャ2-2
構造化データのXMLエディタ
キャプチャ2-3

こんにちは

まずはDataTable変数のスコープの問題が考えられます。
ExtractDataTableのスコープを見直すか、あるいは構造化データを抽出アクティビティの直前に、ExtractDataTable=Nothingの代入アクティビティを入れてみてください。

代入アクティビティにて、ExtractDataTable(左辺) = Nothing (右辺)を構造化データを抽出
アクティビティの前に入れてみました
しかしながら、検索結果は、構造化データを抽出した内容をそのまま1行書き込みの中に
書いてしまっています。

こんにちは

可能性の一つですが、1回目の検索の結果が別タブで残っていませんでしょうか?
もしそうであれば、同じタブで処理を続けるようにするか、あるいは原因の切り分けのため1回目の
処理が終われば、タブを閉じるようにしてみてはと思います。

1 Like

おっしゃる通り、検索結果が、1行目検索した結果、終了しても、画面に残っており、
新規で、ekitan の検索セッション立ち上がり、2行目の検索を行い、結果を表示します。
3行目、4行目も同じ状態です。

こんにちは

データスクレイピングの際のブラウザにアタッチあるいは構造化データ抽出アクティビティで
1回目の検索結果を見に行っている可能性があると思われます。
切り分けとしては、現在あるブラウザにアタッチの最後に、タブを閉じるを入れてみて
どうなるか確認してみてはと思います。

これが有効であるなら、ブラウザのタブを開くのは最初だけにして、あとは検索トップ画面へのリンクをクリックするか、NavigateToアクティビティ等で遷移するようにすれば良いかと思います。

1 Like

構造化データ抽出アクティビティで1回目の検索結果を見に行っている可能性がある
⇒1.構造化データ抽出アクティビティを「表全体からデータを抽出」で実施
その後、下記のように、ワイルドカードを設定。

特に、get_columns_name=‘’ 、get_empty_columns='’ とすることは確実ですが、
今回、ご相談していたポイント columns_name_source=‘*’ に変更することで、
構造化データの内容が更新された場合でも、内容を更新。
そのあと、ExtractDataTable に 欲しデータをゲットできました。
もちろん、構造化抽出の前に、「代入アクティビティ」 を入れること と
最後に、「タブを閉じる」 を設置しております。

とても良いアドバイス、ありがとうございます。

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.