logstash过滤器中的hit_cache_size是如何工作的？

Question

我正在使用dns过滤器在日志存储为我的csv文件。在我的csv文件中，我有两个字段。他们是网站和计数。

下面是我的csv文件的示例内容：

( |www.google.com|n1| |www.yahoo.com|n2| |www.bing.com|n3| |www.stackoverflow.com|n4| |www.smackcoders.com|n5| |www.zoho.com|n6| |www.quora.com|n7| |www.elastic.co|n8| )

下面是我的logstash配置文件：

  input {
       file {
          path => "/home/paulsteven/log_cars/cars_dns.csv"
          start_position => "beginning"
          sincedb_path => "/dev/null"
       }
    }
    filter {
        csv {
            separator => ","
            columns => ["website","n"]
        }
        dns { 
          resolve => [ "website" ] 
          action => "replace" 
          hit_cache_size => 8000 
          hit_cache_ttl => 300 
          failed_cache_size => 1000 
          failed_cache_ttl => 10
        }
    }
    output {
      elasticsearch {
        hosts => "localhost:9200"
        index => "dnsfilter03"
        document_type => "details"
      }
      stdout{}
    }

下面是通过logstash传递的示例数据：

  {
          "@version" => "1",
              "path" => "/home/paulsteven/log_cars/cars_dns.csv",
           "website" => "104.28.5.86",
                 "n" => "n21",
              "host" => "smackcoders",
           "message" => "www.smackcoders.com,n21",
        "@timestamp" => 2019-04-23T10:41:15.680Z
    }

在logstash文件中，我想了解hit_cache_size。它的用途是什么。我在弹性网站上阅读了dns过滤器的指南，但无法理解。我在logstash配置中添加了字段，但什么也没有发生。能给我举个例子吗。我想知道hit_cache_size的使用情况。工作是什么，它在dns过滤器中做什么

Answer 1

hit_cache_size允许您存储成功请求的结果，因此，如果您需要在同一主机上运行dns请求，将转而查看缓存，并且只有在主机未被缓存时才会进行dns查找。

如果您的数据有唯一的主机，那么就没有理由使用hit_cache_size，因为主机只出现一次。

hit_cache_ttl与hit_cache_size一起工作，并表示请求将存储在缓存中的时间。