Googleしごと検索のデータスクレイピングについて

こんにちは。はじめてお世話になります。

Googleしごと検索という求人サイトがありまして、情報収集のために左カラムの内容をデータスクレイピングのウィザードに沿って設定をしていました。当初は問題なく取得できていて結果をエクセルに書き込んでいたのですが、今日になって突然書き込みができなくなりました。

https://www.google.com/search?q=日本&ibp=htl;jobs#fpstate=tldetail&htidocid=SdF4fYcEEDTnkGT4AAAAAA%3D%3D&htivrt=jobs

ソースの内容が変わったと思い、再びデータスクレイピングのウィザードに沿って設定を行いましたが、うまく取得書き込みができません。

おそらくセレクタの設定に問題があるのではないかと思いますが、どこが間違っているのかよくわかりません。

お手数ですが、どなたかご教示いただけませんでしょうか?

<html app=‘chrome.exe’ title=’*’ />
<webctrl id=‘gws-horizon-textlists__tl-af’ tag=‘DIV’ />

(どこかに*の設定忘れがあるのでしょうか?)

1 Like

こんにちは! ワイルドカードなしでセレクタを教えてもらえますか。
次に、そのセレクタを使用していて複数のクロムタブが開いていると、エラーが発生します。

こんにちは

こちらの環境(2019.4.0CE)のウィザードでは問題なく取得できそうですが、この時点で取れていないのでしょうか?

img20190422-1

私はそれがセレクタの問題だと本当に思っています。
これらのセレクターの中で動的なすべてのストリングを見つけるはずです。

ご返信ありがとうございます!

キャプチャーをつけていただいた内容は、こちらでも問題なく取得できていています。
その後いろいろためしてみたところ、単発ではデータスクレイピング→excelへの書き込みまでできるようになりました。ありがとうございます。

実はワークフロー上はスクレイピングをループ処理してクエリごとにデータ取得してexcelにその都度書き込むという流れでして、変数の受け渡しと書き込みの段階で何らかの問題が発生しているかもしれません。もともとは問題なく動いていたので、急に書き込みできなくなった理由は不明ですが、この点を重点的に確認してみます。

ご協力感謝します!

ありがとうございます!
単発の流れではスクレイピング→excelへの書き込みができるようになりました。
ループ処理で実行するという課題がありますが、不具合の原因を詰めたいと思います。
ひょっとするとブラウザをいったん閉じる処理を加えると改善するのでは?と思っています。
ループ処理でスクレイピングデータをexcelに書き込む際の注意点などありますか?