Logstash弹性云401未经授权错误

Question

正式对数弹性云模块

正式医生开始

我的logstash.yml看起来像：

  cloud.id: "Test:testkey"
  cloud.auth: "elastic:password"

在""中，前面有两个空格，末端没有空格

这是我在logstash.yml上所有的东西，没有别的，

我得到的是：

[2018-08-29T12:33:52,112][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"https://myserverurl:12345/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contacting Elasticsearch at URL 'https://myserverurl:12345/'"}

my_config_file_name.conf看起来是这样的：

input{jdbc{...jdbc here... This works, as I see data in windows console}}
output {
    stdout { codec => json_lines }
    elasticsearch {
    hosts => ["myserverurl:12345"]
    index => "my_index"
    # document_id => "%{brand}"
    }

我所做的就是点击windows cmd上的cmd，

它从我在输入conf文件中配置的数据库中加载数据，然后显示错误，我想将我的数据从MySQL索引到云上的elasticsearch，我进行了14天的试验，并创建了一个测试索引，以便学习，因为我以后必须部署它。我的管道看起来是：

  - pipeline.id: my_id
    path.config: "./config/conf_file_name.conf"
    pipeline.workers: 1

如果日志不包括敏感数据，我也可以提供它们。

基本上，我不想将我的MYSQL数据与云上的ElasticSearch (即AWS )同步(计划检查)

Answer 1

产出应为：

elasticsearch {
    hosts => ["https://yourhost:yourport/"]
    user => "elastic"
    password => "password"
    # protocol => https
    # port => "yourport"
    index => "test_index"
    # document_id => "%{table_id}"

# --代表评论

如以下所述：用弹性云文档配置logstash

部署应用程序时提供的文档不为jdbc、jdbc提供配置，即使在设置文件(即logstash.yml )中定义了用户和密码。

Answer 2

另外，如果您在web中创建了API密钥，您将无法获得配置Logstash所需的值。要使用/app/dev_#/上找到的devtool控制台，您必须使用以下内容：

POST /_security/api_key
{
  "name": "logstash"
}

其中的输出类似于：

{
  "id": "<id value>",
  "name": "logstash",
  "api_key": "<api key>",
  "encoded": "<encoded api key>"
}

在logstash管道配置中，使用如下值：

output {
  elasticsearch {
    cloud_id => "<cloud id>"
    api_key => "<id value>:<api key>"
    data_stream => true
    ssl => true
  }
  stdout { codec => rubydebug }
}

注意由":“分隔的组合"api_key”值。此外，您还可以在“部署”菜单选项下找到“云id”。

Answer 3

我在开发环境中添加了相同的问题。在google上浏览了几个小时后，默认情况下，当您安装Logstash时，安装了X。在文档https://www.elastic.co/guide/en/logstash/current/setup-xpack.html中，有人指出

区块报价

X-Pack是一个弹性堆栈扩展，它提供安全、警报、监视、机器学习、管道管理和许多其他功能。

区块报价

由于我在流Elasticsearch时不需要在dev中运行x-pack，所以我不得不通过在指数化文件配置的输出中将ilm_enabled设置为false来禁用它。

    output {
     elasticsearch { 
        hosts =>  [.. ]
        ilm_enabled => false
      }
    }

下面的链接可能有助于https://discuss.opendistrocommunity.dev/t/logstash-oss-with-non-removable-x-pack/655/3