首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用ExecuteStreamCommand的Python脚本

问使用ExecuteStreamCommand的Python脚本
EN

Stack Overflow用户
提问于 2018-03-24 17:54:40
回答 1查看 14K关注 0票数 12

在尽我最大的努力找出与这个问题相关的问题和例子之后,我仍然找不到我想要的答案,我想我会自己提出一个问题。

对我来说,ExecuteStreamCommand似乎是一个完美的处理器,原因如下:

  • 我能够执行任何Python并避免Jython (以类似于ExecuteScript的方式)。Jython对我来说不是一个选择。
  • 我可以接受FlowFiles。这是必要的,因为我的脚本是用来消耗前一个处理器的输出的。此外,我喜欢将数据保存在"NiFi管理“之下的想法。
  • 它写一个“执行状态”,这将是有用的路由。

简单地说,我试图用ExecuteStreamCommand做的是:

  • 摄入先前处理器的输出(准确地说,是一个带有JSON行的文本文件的Scrapy蜘蛛)
  • 调用python脚本(例如python3 my_script.py)
  • 加载在我的python脚本中摄入的FlowFile。
  • 选择FlowFile的内容。
  • 对python中FlowFile的内容进行操作。
  • 输出原始FlowFile的更新版本或创建新版本。
  • 使用更新/新的NiFi继续我的FlowFile流。

为了清楚起见,我目前还不明白:

  • 如何调用python脚本(从ExecuteStreamCommand处理器)
  • 如何从Python内部加载FlowFile
  • 如何从Python内部更新或创建新的FlowFile
  • 如何将更新的FlowFile从Python输出回NiFi。

我遇到了很多关于ExecuteScript的例子,但不幸的是,这些例子并没有完全转化为ExecuteStreamCommand的使用。

提前谢谢你。如有任何建议,敬请见谅。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-03-27 23:46:03

从您的问题中可以看出,您需要调用Python而不使用InvokeScriptedProcessor或ExecuteScript处理器,因为您不能使用Jython。考虑到这个需求,你仍然应该能够完成你的目标。虽然它需要对框架有一定的熟悉,但所有这些信息都来自 documentation。

你的“我目前不明白”一节:

  • 如何调用python脚本(从ExecuteStreamCommand处理器)
代码语言:javascript
复制
- In your `ExecuteStreamCommand` processor, configure the _Command Arguments_ and _Command Path_ properties with the following:
代码语言:javascript
复制
    - Command Arguments: `any flags or args, delimited by ;` (i.e. `/path/to/my_script.py`)
    - Command Path: `/path/to/python3`

​

​

  • 如何从Python内部加载FlowFile
代码语言:javascript
复制
- The flowfile content will be passed via _STDIN_, so in your Python script, process that data the same way you would normally process _STDIN_. 

​

  • 如何在Python FlowFile 中更新或创建新的
    • NiFi处理框架中的流文件创建。Python脚本传递给STDOUT的任何数据都将被填充到传递给ExecuteStreamCommand处理器输出流关系的结果流文件的内容中。在这种情况下,您的脚本不需要对“does文件”有任何了解。如果您正在使用ISP或ES处理器,则可以使用自动注入到脚本中的NiFi脚本API来创建或更新flowfile文件对象。

    ​

  • 如何将更新的FlowFile从Python输出回NiFi。
    • 同样,只需从脚本中将所需的流文件内容写入STDOUT,那么(给定0的返回状态代码) NiFi将生成一个包含该内容的新流文件。如果将ESC的Output目的属性属性设置为非空值,则NiFi将使用包含脚本输出的同名新属性更新现有的流文件。

​

票数 18
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49467969

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档