首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用docker-compose持久化nifi流文件?

问如何使用docker-compose持久化nifi流文件?
EN

Stack Overflow用户
提问于 2019-03-25 00:32:04
回答 5查看 6.3K关注 0票数 5

现在,我正在使用nifi和它的处理器来处理一些流内容(mqtt侦听器、json求值、文本替换、写入数据库……)。我试图持久化flowfiles,因此我做了一些卷映射(见下文)。但是它不工作;重新启动容器后,似乎流文件没有保存……

谁能给我一个如何解决这个问题的提示?

代码语言:javascript
复制
nifi:
image: apache/nifi
restart: on-failure
ports:
  - "8000:8000"
networks:
  - traefik
environment:
  - NIFI_WEB_HTTP_PORT=8000
volumes:
  - nifi_conf:/opt/nifi/conf
  - nifi_state:/data/nifi/state
  - nifi_db:/opt/nifi/database_repository
  - nifi_flowfile:/opt/nifi/flowfile_repository
  - nifi_content:/opt/nifi/content_repository
  - nifi_provenance:/opt/nifi/provenance_repository 


volumes:
 nifi_provenance:{}
 nifi_flowfile: {}
 nifi_content: {}
 nifi_db: {}
 nifi_state: {}
 nifi_conf: {}

谢谢。

EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2019-03-25 18:21:06

您可以将docker容器文件夹直接映射到主机,如下所示:

代码语言:javascript
复制
services:
  nifi:
    ...
    volumes:
      - ./conf:/opt/conf
      - ./nifi_state:/data/nifi/state
      ...

不需要额外的卷定义

请注意,在带有virtualbox的windows下,此功能仅在当前用户目录下有效。

票数 7
EN

Stack Overflow用户

发布于 2019-09-06 14:50:37

我这边有个更新。Apache Nifi在1.8.0之后更改了它们的目录。因此,您应该使用以下内容:

代码语言:javascript
复制
volumes:
      - ./nifi_state:/opt/nifi/nifi-current/state
      - ./nifi_db:/opt/nifi/nifi-current/database_repository
      - ./nifi_flowfile:/opt/nifi/nifi-current/flowfile_repository
      - ./nifi_content:/opt/nifi/nifi-current/content_repository
      - ./nifi_provenance:/opt/nifi/nifi-current/provenance_repository   
票数 6
EN

Stack Overflow用户

发布于 2020-04-21 16:51:04

最终编辑:经过多次测试和尝试,我发现将Nifi与docker swarm结合使用的唯一方法是:

步骤1:创建nifi_data卷

代码语言:javascript
复制
$ docker volume create nifi_data

步骤2:使用以下配置启动堆栈

代码语言:javascript
复制
version: "3.7"
services:
  nifi:
    image: apache/nifi:1.9.2
    ports:
      - target: 8080
        published: 9090
        protocol: tcp
        mode: host
    environment:
      - NIFI_WEB_HTTP_HOST=0.0.0.0
      #- NIFI_HOME=/home/nifi
      #- NIFI_LOG_DIR=/home/nifi/logs

    volumes:
      - nifi_data:/home/nifi

volumes:
  nifi_data:
    external: true

第三步:进入容器

代码语言:javascript
复制
$ docker exec -it <container_id> bash

第4步:复制home中的当前内容

代码语言:javascript
复制
$ cd /opt/nifi/nifi-current
$ cp -r ./* /home/nifi

第5步:删除已部署的堆栈

代码语言:javascript
复制
docker stack rm nifi

步骤6:使用以下配置部署堆栈(只需删除#)

代码语言:javascript
复制
version: "3.7"
services:
  nifi:
    image: apache/nifi:1.9.2
    ports:
      - target: 8080
        published: 9090
        protocol: tcp
        mode: host
    environment:
      - NIFI_WEB_HTTP_HOST=0.0.0.0
      - NIFI_HOME=/home/nifi
      - NIFI_LOG_DIR=/home/nifi/logs

    volumes:
      - nifi_data:/home/nifi

volumes:
  nifi_data:
    external: true
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55325999

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档