我们有一些过程,它获取一个文本文件(带有一个目录列表)并将其保存到一个dat文件中。它从txt文件中提取所有行,将它们转换为byte[],并将它们保存为dat文件。
格式为size_of_filelist_of_directories
例如: 12 0 0 092 0 97 0....
现在,我们得到了另一个调用rest API的进程,该API对此dat文件进行流式处理,并再次将其转换为文本文件。
问题:当我获取一个只有1行的文本文件时,转换流的过程是将文本文件创建为UTF-16LE,而如果文件有超过1行,则会将其创建为UTF-8
代码:
public static void ExtractDatFileData(string datFilePath)
{
// Open DAT file as stream
var info = new FileInfo(datFilePath);
var stream = info.Open(FileMode.Open, FileAccess.Read, FileShare.ReadWrite);
// Write stream into "data.dat" file (creates a copy to read that data from it)
var inputFile = Path.Combine(@"C:\demo\data.dat");
using (var file = File.OpenWrite(inputFile))
{
stream.CopyTo(file);
}
const int BUFFER_SIZE = 1024 * 1024;
byte[] buffer = new byte[BUFFER_SIZE];
using (Stream input = File.OpenRead(inputFile))
{
// Read the size of the file
int bytesRead = input.Read(buffer, 0, 4);
int fileSize = BitConverter.ToInt32(buffer, 0);
// Read data from the DAT file
while (input.Position < input.Length)
{
// --- directories list ---
var dirTxtPath = Path.Combine(@"C:\demo\directories.txt");
using (Stream output = File.Create(dirTxtPath))
{
int remaining = fileSize;
while (remaining > 0 && (bytesRead = input.Read(buffer, 0, Math.Min(remaining, BUFFER_SIZE))) > 0)
{
output.Write(buffer, 0, bytesRead);
remaining -= bytesRead;
}
}
}
}
}现在,这是有问题的代码:
var dirTxtPath = Path.Combine(@"C:\demo\directories.txt");
using (Stream output = File.Create(dirTxtPath))
{
int remaining = fileSize;
while (remaining > 0 && (bytesRead = input.Read(buffer, 0, Math.Min(remaining, BUFFER_SIZE))) > 0)
{
output.Write(buffer, 0, bytesRead);
remaining -= bytesRead;
}
}似乎output.Write(buffer, 0, bytesRead);会在不同的场景下写成utf-16或utf-8,但我不确定它是如何决定如何创建文件编码的。
我做过的事情:
我确保在编写原始DAT文件时,它会对一行或更多行执行相同的代码。我仔细检查了一下,然后再仔细检查了一下:)
我检查了使用比较工具(Beyond Compare)创建的两个DAT文件,发现数据格式似乎相同
对为什么会发生这种情况有什么想法吗?
发布于 2021-10-21 11:36:11
根据需要使用StreamWriter写入文本数据。
using (TextWriter w = new StreamWriter(outputFile, false, Encoding.ASCII)) // Or whatever encoding you need.
{
//...
w.Write("SomeString"); // This converts the (unicode) String to the encoding provided above.
}在您的代码中,您将文本复制为原始的二进制数据。根据输入文件格式的不同,它可能带有字节顺序标记,而字节顺序标记又将被复制到输出,从而导致输出文件也获得不同的格式。
https://stackoverflow.com/questions/69661034
复制相似问题