从大型CSV文件中提取的随机记录

Question

我有50个CSV文件，每个文件最多有2百万条记录。

I每天需要从50个文件中获取10000条随机记录，并生成一个包含所有信息(10000* 50 )的新CSV文件。

我不能手动做，因为我会花很多时间，我也尝试过使用Access，但是，因为数据库比2G大，所以我不能使用它。此外，我尝试使用CSVed -一个很好的软件，但仍然没有帮助我。

有人能给出一个想法/软，以便从文件中获取随机记录并创建一个新的CSV文件吗？

Answer 1

有很多语言你可以使用，我会使用C#并这样做。

1)获取文件中的行数。

Lines in text file

2)根据步骤1中的计数的最大值来生成10,000个随机数(如果需要的话是唯一的)。

Random without duplicates

3)从文件中提取步骤2中的记录并写入新文件。

4)对每个文件重复。

如果要考虑访问以外的数据库，其他选项是MySQL或，举几个例子。