将apache-pig中的数据读取到R中

Question

有什么方法可以让R通过网络读取存储在apache中的数据吗？(类似于R如何通过网络连接到数据库并访问存储在数据库中的数据)。

或者，如果不能这样做，是否可以通过java、python或任何其他语言“管道”数据？示例: Java连接到Apache和R，允许数据从Apache迁移到Java到R。

Answer 1

我想STREAM命令将对您有效。您能从下面的参考文档中尝试吗？

http://pig.apache.org/docs/r0.13.0/basic.html#stream

http://chimera.labs.oreilly.com/books/1234000001811/ch06.html#stream

我不知道R编程，所以我尝试了基本的Ruby脚本，它的工作很好。

输入

This is apache pig

PigScript:

A = LOAD 'input';
B = STREAM A THROUGH `myruby.rb`;
DUMP B;

myruby.rb

#!/usr/bin/env ruby

STDIN.each do |line|
line.split.each do |word|
  puts word
end
end

输出：

(This)
(is)
(apache)
(pig)