「範囲を読み込む」のデータ数の上限

[sasatotomimi]

お世話になります。

無知で恐縮ですが、
Excelで「範囲を読み込む」を使用するとき、
行数が数万、数十万あるようなExcelを読み込んでも良いのでしょうか。

何件以上は読み込まないほうがよい、
数十万行のExcelを処理した実績がある 等、
ご存知でしたら教えていただければ幸いです。

よろしくお願いいたします。

[Jumbo (Jumbo Suzuki)]

@sasatotomimi

前提として、Excelを読み込むときに問題となるのは、行数だけではなく、列数・含まれる文字列やPCのスペック等要素がいろいろあるので、一概に何行だとマズい、とは言えませんが、以前5000行 * 20列くらいで失敗した、みたいな話は聞いたことがあります。

後、UiPath Goで以下のようなactivity packが出ているので、Read rangeでエラーとなる場合は、試してみるといいかもしれません。
https://go.uipath.com/component/read-extra-large-spreadsheets#

[sasatotomimi]

有難うございます。

変動するのですが、10万行×20列ぐらいのデータです。
読み込んで、データ数(Table.Rows.Count)も合っているのですが、
こんなデータ数を一度に読み込んで良いものか悩んでおりました。
この後、1レコードずつ処理していくので、途中で失敗する可能性が高いのかなと。

UiPath Goのご提示も有難うございます！

[Jun1 (しおちゃん)]

@sasatotomimi

こんにちわ！

一応、このカスタムアクティビティは、Excelシートの最大行数と同じ1,048,576行と
記載があり、 処理はできるとは思います。
ただし、仰る通り、１レコードずつ処理して、途中で失敗する可能性も考慮し、
念のため、失敗しても、そこから処理を継続できる様に、作れば、よろしいかと思います。

[Risa (Mizushina Risa)]

1行1KBとすると10万行で100MBぐらいなので、UiPathが動作するPCなら、さほど問題はないような気がします。
データの形式次第なので、絶対ではないのですが・・・

[sasatotomimi]

ありがとうございます！

ご確認いただき、有難うございます。
Excelの最大行数を読み込めるんですね！
そうですね。対策込みで全データ処理に持っていくよう検討してみます。
有難うございました。

[sasatotomimi]

ありがとうございます！

あまり大量のデータを処理したことがないため、
「そんなデータ数読み込んでエラーになるに決まってるだろ！」
ということになりはしないかと不安になっておりました。
問題になる大きさではないかもしれないですかね。
何回かテストで実行してみます！
ありがとうございます。

[Jun1 (しおちゃん)]

@sasatotomimi

私の方で、標準のアクティビティと、このカスタムアクティビティ
の速度面の評価をしたかったので、２０万レコードで計測して見ました。
このカスタムアクティビティの速度が、かなり、遅かったです。。。

ちなみに読み込んだデータをcsvに書き込んで見ましたが、
内容の方はどちらも、OKでした。

私の試したデータに影響があるのか不明ですが、念のため、
速度もお試しになられた方がよろしいかと思います。

[sasatotomimi]

評価結果およびデータ書き込みの結果を共有頂きまして、
ありがとうございます。

問題なく動かせそうな予感がしてきました。
動作、速度ともに試してみます。
ありがとうございました。