データスクレイピングしてもCSVファイルに書き出せない。

こんにちは。

あるサイトの情報をデータスクレイピングで取得してCSVファイルに書き出すことをしたいのですが、うまくいきません。

<状況>
・データスクレイピングボタンからスクレイピングを行うと、プレビュー画面ではデータが取得できている。

・CSVファイルに書き込もうとしたところ、何も書き込まれない。

・デバッグモードで動かしたところ、データテーブル型の変数にaanameやinnertextの情報が含まれていない。

<試したこと>
・メタデータにaanameを追加したが、状況は変わらない。

・他のサイトだと問題なくできる。

<わからないところ>
・プレビューには表示されるのにどうしてデータが取得できないのか。

・メタデータにaaname等を追加すれば解決できるのか。

・メタデータにaanameを追加するときに注意点があるか。

何か、解決方法がありましたらご教示ください。

ご協力に感謝します。

こんにちは

可能性としては
・DataTableのスコープの問題(ExtractStructuredDataアクティビティの直後に確認されてますでしょうか?)
・対象のテーブルを読み込むタイミングが異なる
等がまずは考えられます。

問題の切り分けのため、ExtractStructuredDataアクティビティにBreakPointを設定し、Debugモードで実行→ここで止まると思うので、Step実行を1回実行してこのアクティビティを実行し、データテーブルに値が書き込まれているかをローカルパネルから確認いただくのが良いように思えます。

1 Like

いつもありがとうございます!

こちらで試しましたが、デバッグモードで実行時にローカルウィンドウを確認したところ、データテーブルの変数にはサイトで表示されている文言は入っていませんでした。(aaname, innertext ともにです。)ほかのタグにあたるものは入っています(Fontなど)。

メタデータの方にaanameを追記してやってみましたが、うまくいきません。

こんにちは

ありがとうございます。この状況で取得できていないということは、やはり設定の問題かもしれません。(プレビューで見れたのは謎です...)

対象はイントラ上のサイトでしょうか?直接アクセスできれば早いのですが...

もしよろしければExtractMetaData(メタデータ抽出)の値を共有いただけますでしょうか?

1 Like

ご返信ありがとうございます。

先ほどのこちからの返答内容は、先日お客様先で行ったものなのですが、
お客様の方でのシステムなので、今手元での再現ができません。

メタデータは確認してOKでしたら見ていただいてもよろしいでしょうか。

こんにちは

そうなんですね。もし当該アクティビティ(Extract Structured Data)でBreakPoint設定してなかった場合は、これも含めてご確認いただければと思います。(読み込みタイミングの影響を見る意図もありましたので)

メタデータは見てどこまでわかるかは未知数ですが、共有いただければと思います。

1 Like

ありがとうございます!

確認後にまたメッセージ書かせていただきます。

1 Like

こんにちは。

メタデータ入手しましたので、ご確認いただいてもよろしいでしょうか。

メタデータ.txt (1.2 KB)

大変お手数ですがよろしくご査収ください。

ありがとうございます。

こんにちは

ぱっと見で気になるのは
<webctrl tag='table' idx='11'/>
ですね。idx='11’というのはあまり安定しているセレクターとは言い難いように思えます。

デバッグ時は値を取得できないとのことですが、Wizard実行時=プレビュー時からまったくの画面遷移なしで実行した結果でしょうか?あるいは一度Wizardで取得した画面は閉じたうえで再度アクセスした画面でしょうか?

あくまで仮説の一つですが、デバッグ実行時はWizardでの取得時に比べて、構成が変動したため、idx='11’で指定している箇所が別のものとなっており、結果として値がとれていないことが考えられます。

ターゲット-セレクターの設定も含め、まずはこのあたりを確認いただくとよいのではと思います。

1 Like

早速のご回答ありがとうございます。

他のページに遷移しているようなことはありません。

ちょっと気になるのは、このページだけサブページのような表示で、通常は左上にTOPページへのリンクアイコンが(ロゴ)があるのですが、このページだけにはないので、違う扱いのページなのかもしれないです。

そういったことでこのようなことが起こりうるのでしょうか?

また、先ほどおっしゃっていたインデックスの件ですが、プレビューで表示されていても、裏のインデックスがおかしなことになるので、実際にCSVに書き出しができないということになりますでしょうか?

いつもありがとうございます。

こんにちは

取得時直後のデバッグでしたら基本的には同じ結果が取得できると思うのですが...
やはり実物みないと何とも言えませんね。。。

あとは、原因の切り分けのために以下を試してみる価値はあるかもしれません。
1.デバッグモードで要素のハイライトをONにして、期待通りの要素を見にいっていることを確認する。
2.Extract Structured Data要素のエラー発生時継続がONになっていると思うので、それをOFFにしてみてエラーが発生していないかを確認する。

1 Like

ありがとうございます。

理由はわからないのですが、共通のエラー発生時に実行を継続(チェックを外してFalse)にしたところ、うまくいきました。ありがとうございます。

でも、なぜなのかはわからないです。。。

こんにちは

謎ですね....再発するかもしれないので、ちょっと注意が必要かもしれません。

1 Like

ありがとうございます。こちらでもいろいろと試してみようと思います。

ありがとうございました。

1 Like

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.