在内存映射和文件排序之后，字节将下落不明。

Question

我有一个由69字节消息组成的文件.没有EOL字符-只是一个又一个消息。文件中的字节总数正好是11,465,930,307，即(11,465,930,307/69) = 166,172,903条消息。

我的程序内存-将文件映射到一个字节数组中，查看每个69字节的消息并提取时间戳。我跟踪我使用的是哪个消息号，然后将时间戳和消息号放在一个RowDetails对象中，该对象位于一个名为to_sort的std::vector<RowDetails>中，这样就可以有效地按照时间戳对整个文件进行排序。

std::cout << "Sorting....." << to_sort.size() << " rows..." << std::endl;
std::sort(std::begin(to_sort), std::end(to_sort));

但是，我创建了一个新文件，该文件被排序：

unsigned long long total_bytes=0;
unsigned long long total_rows=0;

ofstream a_file("D:\\sorted_all");

std::cout << "Outputting " << to_sort.size() << " rows..." << std::endl;
std::cout << "Outputting " << (to_sort.size()*69) << " bytes..." << std::endl;

for(RowDetails rd : to_sort){
    for(unsigned long long i = rd.msg_number*69; i<(rd.msg_number*69)+69; i++){
        a_file << current_bytes[i];
        total_bytes++;
    }
    total_rows++;
}

std::cout << "Vector rows: "<< total_rows <<std::endl;
std::cout << "Bytes: " << total_bytes <<std::endl;

我的产出：

No. of total bytes (before memory-mapping file): 11,465,930,307         CORRECT
Sorting....... 166,172,903 rows         CORRECT
Outputting 166,172,903 rows....         CORRECT
Outputting 11,465,930,307 bytes         CORRECT
Vector rows: 166,172,903                CORRECT
Bytes: 11,465,930,169                   ERROR, THIS SHOULD BE 307, not 169

如何处理正确的行数，但计数总字节的计数器是错误的？？

当查看Windows 7资源管理器中的输出文件时，它的大小是: 11,503,248,366字节，尽管原始输入文件(我映射的输入文件)显示正确的11,465,930,307字节。

Answer 1

这只是基于您提供的代码片段的猜测，但我敢打赌rd.msg_number是一种32位类型。似乎rd.msg_number*69有时会溢出其32位结果，导致内循环界中的不正确计算。我要做的事情如下：

for(RowDetails rd : to_sort){
    long long msg_offset = (long long)rd.msg_number * 69;
    for(unsigned long long i = 0; i < 69; i++){
        a_file << current_bytes[msg_offset+i];
        total_bytes++;
    }
    total_rows++;
}

对于不正确的输出文件大小，原因是您的a_file输出文件是以默认文本模式打开的，而不是二进制模式。在文本模式下，stdio将完成你不想要的EOL转换。因此，将文件打开语句更改为：

ofstream a_file("d:\\sorted_all", ios::out | ios::binary);