与Python一起使用麋鹿

Question

我正在做的项目有点保密，但我会尽量解释我的问题，并尽可能清楚，因为我需要你的意见。

项目：

他们要求我建立一个本地ELK环境，并使用Python脚本与此堆栈(ELK)通信，通过Kibana将其存储数据，检索，分析它和E 110可视化它E 211，最后有一个dE 112基于该数据(AI)E 213进行决策。因此，您可以看到，这是一个数据工程项目与一些人工智能的决策过程。我所面临的问题是：

• 我不知道如何使用Python与堆栈通信，我没有找到关于它的资源
• 由于数据是保密的，我如何保证高度安全？
• 要使用多少个实例？
• 我迷失了方向，因为我对麋鹿并不陌生，我的团队也不是以开发为导向的。

我是麋鹿新手，所以请任何建议都会很有帮助的！

Answer 1

我不知道如何使用Python与堆栈通信，我没有找到关于它的资源

要学习如何与堆栈交互，请使用python库：

您可以使用pip3 install elasticsearch进行安装，下面的链接包含大量关于您需要做的任何事情的教程。

https://kb.objectrocket.com/category/elasticsearch?filter=python

建议你从这两个开始：

https://kb.objectrocket.com/elasticsearch/how-to-parse-lines-in-a-text-file-and-index-as-elasticsearch-documents-using-python-641

https://kb.objectrocket.com/elasticsearch/how-to-query-elasticsearch-documents-in-python-268

由于数据是保密的，我如何保证高度安全？您可以屏蔽数据或限制索引访问。

https://www.elastic.co/guide/en/elasticsearch/reference/current/authorization.html

https://nl.devoteam.com/expert-view/field-level-security-and-data-masking-in-elasticsearch/

要使用多少个实例？我迷失了方向，因为我对麋鹿并不陌生，我的团队也不是以开发为导向的。

我建议您从1个Elasticsearch节点开始，如果您在AWS上，使用t3a.large或等效程序，并在同一台机器上运行Elasticsearch、Kibana和Logstash。

用于设置它：https://www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-stack-docker.html#run-docker-secure

Answer 2

如果您想使用phyton作为您的Elasticsearch集成工具，可以使用elasticsearch phyton客户端。

您可以使用python创建结果并将其保存在日志文件中或将其插入数据库(而不是洛格斯塔什 )的其他选项将获得您的数据。

在安全性方面，ELK具有良好的安全性，从API授权、用户身份认证到集群安全。你可以在这里看到确保弹性堆栈安全

我只使用一个实例，但如果您认为您需要在Kibana和Elasticsearch以及Logstash之间进行分离(如果您使用它)，或者您可以使用docker来分离它，请放心。根据我的经验，如果您要在短时间内加载大量数据，那么最好将其分开，这样进程就不会相互干扰。