我试图在两个UNIX集群之间传输我的文件,数据是二进制形式的纯数字(双精度向量)。不幸的是,其中一个系统是IBM ppc997,另一个是AMD Opteron,这两个系统中二进制数的格式似乎是不同的。
到目前为止,我已经尝试了三种方法:
1-将我的文件更改为ASCII格式(即在文本文件中的每一行保存一个数字),将它们发送到目标,然后在目标系统上再次将它们更改为二进制(它们都是UNIX,没有行尾字符差异??!)
2-将纯二进制文件发送到目的地
3-使用uuencode将它们发送到目的地并对其进行解码
不幸的是,这些方法中的任何一个都不能工作(我在目标系统中的代码生成垃圾,虽然它在第一个系统上工作,但我百分之百确定代码本身是可移植的)。我不知道我还能做什么?你有什么想法吗?我不是专业人士,请不要使用计算机科学家的术语!
还有:我的代码是用C语言编写的,所以我所说的二进制是指内存和硬盘之间的一对一映射。
谢谢
发布于 2010-06-16 03:29:08
如果要将内存内容写入文件,则代码不是100%可移植的。
您需要一个名为serialization.的东西好的,计算机科学术语,但它基本上意味着你得到你的数据,并将其转换成定义良好的、有文档记录的字节序列,这些字节序列稍后可以被同一个程序或另一个程序读回内存。这个字节序列是体系结构和平台无关的。
大多数Unix环境已经提供了XDR实现,它提供了用于数据序列化的例程。
一个简单的示例,将4个doubles编码为stdout (您可以使用shell重定向,或者使用fopen()来打开文件,而不是stdout):
XDR xdrs;
double data[4] = { 1.0, 255.41, -357.1, 123.4 };
int i;
xdrstdio_create(&xdrs, stdout, XDR_ENCODE);
for (i = 0; i < 4; i++)
xdr_double(&xdrs, &data[i]);现在,为了(从stdin)获得这些双精度值并打印它们:
XDR xdrs;
double data;
int i;
xdrstdio_create(&xdrs, stdin, XDR_DECODE);
for (i = 0; i < 4; i++) {
xdr_double(&xdrs, &data);
printf("%g\n", data);
}您可以使用XDR对复杂结构进行编码和解码。这是一种将四个双精度值发送到一个文件的非常愚蠢的方法,通常您应该使用xdr_array()来读/写某些数据类型的数组。在保存和加载文件时,必须以相同的顺序执行相同的命令。实际上,您可以使用rpcgen自动生成C结构及其对应的xdr函数。
发布于 2010-06-16 00:26:17
方法1应该是可行的。只需创建一个值为1,2,...,10的测试向量,并将其发送过去。您可以读取创建的ascii (因此您可以验证'export'),因此还可以检查重新读取文件的'import‘步骤。这样你可能会失去精确度,但它应该会让你变得可操作。
一旦您使用XDR等处理不同字节顺序的库,方法2就会起作用。这些事情曾经是一个更大的问题,现在已经有了解决方案。这就是像R这样的系统如何允许你在架构之间共享二进制文件。
方法3是不需要的,除非你在传输文件时做了一些非常笨拙的事情。
发布于 2010-06-16 01:00:00
提供的细节很少。尽我所知。
..其中一个系统是IBM ppc997,另一个是AMD Opteron。
前一种系统通常(*)使用大端表示,后一种是小端表示。Read this。
(*)这取决于操作系统。IBM的POWER CPU既可以执行低字节优先模式,也可以执行高字节优先模式,但实际上在它们上运行的操作系统都没有使用低字节优先模式。
通常,对于二进制表示法,人们选择一个字符顺序,并将其用于二进制表示法。对于网络工作人员来说,大端数字表示是一种规范。
这意味着所有这样做的地方:
/* writing to binary */
int a = 1234;
write(fd,&a,sizeof(a));
/* reading from binary */
int x;
read(fd,&x,sizeof(x));应该转换为类似如下的内容:
/* writing to binary */
int a = htonl(1234);
write(fd,&a,sizeof(a));
/* reading from binary */
int x;
read(fd,&x,sizeof(x));
x = ntohl(x);另一种方法是将字节顺序指示符(例如,写入magic并在另一端检查它: MAGIC = 0x12345678 v.MAGIC= 0x78563412)与二进制数据一起保存,并仅在字节顺序不同时应用转换。虽然这种方法不那么优雅,也没有我所知道的真正的优势。
https://stackoverflow.com/questions/3046963
复制相似问题