200万行以上あるデータテーブルの重複行削除

日本 フォーラム
1

こんにちは。表題の件で質問させていただきます。

200万行以上あるCSVを読み込みデータテーブルにして、重複行を削除しています。
現在はアクティビティ「重複行を削除」を使用していますが、時間がかかるためなんとか高速化できないかと思っています。

色々検索して探してみたのですが、実現できておりません。
以前も大量データにはLINQが便利であることを教えて頂いたのですが、どのように記述すればよいかたどりつけていません。ご指南いただけましたらと思い、書き込ませていただきました。よろしくお願い致します。

2

こんにちは

あまり変わらないかもしれませんが以下試してみてください。

 dt = dt.AsEnumerable.Distinct(DataRowComparer.Default).CopyToDataTable()
2 Likes
3

信じられないほど早くなりました…！
Yoichiさん、ありがとうございます！！

4

This topic was automatically closed 3 days after the last reply. New replies are no longer allowed.