首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >CSV的二进制版本

问CSV的二进制版本
EN

Stack Overflow用户
提问于 2015-07-19 04:32:42
回答 1查看 8.4K关注 0票数 2

我想问一种文件格式,它成为方便的数据记录。

例如,我必须记录弹道数据,数据会是这样的。

代码语言:javascript
复制
t, x, y, z
0.001, 0.1, 0.2, 0.3
0.002, 0.11, 0.19, 0.31
0.003, 0.13, 0.16, 0.35

实际上,我搜索了文件格式,发现上面的文件格式被称为csv(逗号分隔值)。

由于csv将数据记录为纯文本,数据很容易被人读取。

但有时需要长数字才能记录数据(即。15931548831,1248.128657)。

所需的数字越长,写入文件所需的时间就越长。

因此,我需要满足以下条件的文件格式。

  • 数据应该或可以以纯二进制形式记录。
  • 元数据数据名称、记录日期)应包括在文件中。

你认识谁吗?

谢谢。

EN

回答 1

Stack Overflow用户

发布于 2018-09-03 19:53:22

您正在寻找一个科学数据交换格式,因为这类数据是典型的计算科学。

您当然希望采用文件标准,因为CSV因为能够使用许多不同的工具进行读写而受到欢迎。https://en.wikipedia.org/wiki/Hierarchical_Data_Format是一个很受欢迎的选择。任何流行的编程语言都有HDF5库。HDF5在存储(多个n维)表和相关元数据方面表现尤为出色。

另一个典型的选择是序列化为二进制浮点数。在C++中,这将被存档为(源:C++论坛)

代码语言:javascript
复制
#include <iostream>
#include <fstream>

int main()
{
  float f1 = -187.33667, f2 = 0.0;
  std::ofstream out("test.bin",std::ios_base::binary);
  if(out.good())
  {
    std::cout << "Writing floating point number: " << std::fixed << f1 << std::endl;
    out.write((char *)&f1,sizeof(float));
    out.close();
  }
  std::ifstream in("test.bin",std::ios_base::binary);
  if(in.good())
  {
    in.read((char *)&f2,sizeof(float));
    std::cout << "Reading floating point number: " << std::fixed << f2 << std::endl;
  }
  return 0;
}

在这个特定的示例中,编写了真正的二进制数据:

代码语言:javascript
复制
$ hexdump test.bin 
0000000 5630 c33b                              

正如您所看到的,该文件需要4个字节的存储,而不是存储ASCII字符-187.33667时需要的11个字节(11个字符)。有了这个概念(一个定制的读取器和编写器),您还可以高效地存储数字表,当然,这就是像HDF5这样的文件格式在幕后的工作方式。

有一些科学的代码可以实现这样的自定义文件格式,但我强烈反对采用自定义文件格式,因为它们很容易出错,很难调试、检查,而且在编写工具方面也很费时。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31498015

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档