- 综合排序
- 最热优先
- 最新优先
- 来自专栏左瞅瞅，右瞅瞅
ELK的上线之路（五）：—— Logstash进阶解耦
} } file { path => "/var/log/nginx/access.log_json" codec => "json" type => "nginx-log 192.168.12.74" port => "6379" db => "6" data_type => "list" key => "nginx-log 192.168.12.74" port => "6379" db => "6" data_type => "list" key => "nginx-log " type => "nginx-log" } redis { host => "192.168.12.74" port > [ "192.168.12.74:9200"] index => "ucdisk-error-%{+YYYY.MM.dd}" } } if [type] == "nginx-log
81030发布于 2018-07-03 - 来自专栏数据库相关
ElasticSearch ILM实践
需要保证实验的ES的这个参数值 为hot 或者warm 1、创建名为nginx-log的ILM Policy - hot：设置rollover条件，超过一天 或 体积达到50gb 或 docs数达到1000w index": { "lifecycle": { "name": "nginx-log-policy", "rollover_alias": "nginx-log ":{ "is_write_index": true } } } GET nginx-log/_settings 查看这个alias的index的结果如下： 我们可以再在cronjob加个每分钟执行一次采集脚本 $ cat monit_indices.sh curl -s -XPOST http://localhost:9200/nginx-log/_refresh /index_list.log 看下kibana上，这个nginx-log索引最早的创建时间，是2022-05-11日14点37分。
81160编辑于 2022-05-15 - 来自专栏ops技术分享
fliebeat+kafka的ELK日志分析平台（上）
启动后，filebeat会在kafka中建立一个叫nginx-log的topic vim filebeat-nginx.yml filebeat.inputs: - type: log paths: - /var/log/nginx/access.log output.kafka: hosts: ["1.1.1.2:9092", "1.1.1.3:9092"] topic: 'nginx-log 查看日志，没有异常情况，就可以进行下一步了 cat filebeat.log 7.写入日志 curl http://127.0.0.1 操作服务器（kafka-1） 8.kafka中应该有新的topic nginx-log 2181 查看topic里的消息内容，可以看到日志信息的 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic nginx-log auto_offset_reset => "latest" bootstrap_servers => "1.1.1.2:9092,1.1.1.3:9092" topics => ["nginx-log
68810发布于 2021-07-05 - 来自专栏小菜良记
《后端学运维》- k8s之数据存储
- name: nginx image: nginx:1.14-alpine ports: - containerPort: 80 volumeMounts: # 将 nginx-Log 挂载到nginx容器中，容器内目录为/var/log/nginx - name: nginx-log mountPath: /var/log/nginx volumes: #在此声明 volume - name: nginx-log emptyDir: {} 然后我们创建后可以看看emptyDir存储卷在宿主机的位置。 nginx image: nginx:1.14-alpine ports: - containerPort: 80 volumeMounts: - name: nginx-log mountPath: /var/log/nginx volumes: - name: nginx-log hostPath: # 指定宿主机目录为 /data
1.1K11发布于 2021-06-29 - 来自专栏莫韵的专栏
基于ELK的nginx-qps监控解决方案
先说说原理： nginx-log中所有我们需要的信息，都是有的 。 比如user-agent . http-refer , url remote_addr 等等 . 我们只需要把nginx-log中的信息进行计算和汇总即可。 1.jpg 有人说，有日志了用awk/grep 什么的快速计算就行了 。 过程大约是这样 nginx-log 以固定的json串的方式打印 filebeat将日志以json方式发送到es 利用ES的计算能力，将日志按字段汇总起来 最后grafana/kibana 通过ES-API nginx-log以json串的方式打印日志 2. filebeat解析日志后，发送到es进行数据实时处理和分析 3. 利用kibana的功能，自定义数据报表 ## FAQ F.
7.9K100发布于 2018-01-21 - 来自专栏开源部署
Logstash收集Nginx访问日志
log/nginx/access_json.log" codec => json start_position => "beginning" type => "nginx-log 192.168.247.135:9200"] index => "es-error-%{+YYYY.MM.dd}" } } if [type] == "nginx-log /logstash/bin/logstash -f /etc/logstash/conf.d/elk_log.conf & [1] 8178 kibana添加nginx日志 首先在es插件中我们能看到nginx-log
85820编辑于 2022-07-14 - 来自专栏笨兔儿
Spark2.3.1+Kafka0.9使用Direct模式消费信息异常
object Test { val zkQuorum = "mirrors.mucang.cn:2181" val groupId = "nginx-cg" val topic = Map("nginx-log "group.id" -> "nginx-cg", "auto.offset.reset" -> "largest" ) val topic = Set("nginx-log
96560发布于 2019-05-26 - 来自专栏腾讯云Elasticsearch Service
腾讯云Elasticsearch索引生命周期管理原理及实践
PUT %3Cnginx-log-%7Bnow%2Fd%7D-000001%3E { "aliases": { " nginx-log ":{ "is_write_index": " : "22" } { "create" : { "_index" : "nginx-log", "_id" : "3" } } { "message" : "33" } { "create" : { "_index" : "nginx-log", "_id" : "4" } } { "message" : "44" } { "create" : { "_index" : "nginx-log", "_id" : "5" } } { "message" : "55" } { "create" : { "_index" : "nginx-log", "_id" : "6" } } { "message " : "66" } { "create" : { "_index" : "nginx-log", "_id" : "7" } } { "message" : "77" } 当我们向集群中写入一些数据后
5.5K152编辑于 2021-12-04 - 来自专栏python3
Kubernetes1.18.1 ELK收集nginx日志
- containerPort: 80 volumeMounts: - mountPath: /var/log/nginx name: nginx-log restartPolicy: Always volumes: - name: nginx-log hostPath:
1.3K10发布于 2021-01-12 - 来自专栏散尽浮华
ELK实时日志分析平台环境部署--完整记录
log/nginx/access_json.log" codec => json start_position => "beginning" type => "nginx-log 192.168.1.160:9200"] index => "es-error-%{+YYYY.MM.dd}" } } if [type] == "nginx-log > select 6 OK 192.168.1.160:6379[6]> keys * 1) "demo" 2) "system" 192.168.1.160:6379[6]> keys * 1) "nginx-log [root@elk-node1 ~]# logger "12325423" 又会增加日志： 192.168.1.160:6379[6]> keys * 1) "system-syslog" 2) "nginx-log " data_type => "list" key => "es-error" } redis { type => "nginx-log
2.5K81发布于 2018-01-22 - 来自专栏踏歌行的专栏
Kubernetes K8S之通过yaml文件创建Pod与Pod常用字段详解
nginx/html #挂载至容器中哪个目录 30 readOnly: false #读写挂载方式，默认为读写模式false 31 - name: nginx-log html/ #在宿主机上目录的路径 38 type: DirectoryOrCreate #定义类型，这表示如果宿主机没有此目录，则会自动创建 39 - name: nginx-log /share/nginx/html #挂载至容器中哪个目录 4 readOnly: false #读写挂载方式，默认为读写模式false 5 - name: nginx-log nginx/html/ #在宿主机上目录的路径 5 type: DirectoryOrCreate #定义类型，这表示如果宿主机没有此目录，则会自动创建 6 - name: nginx-log
4.8K32发布于 2020-10-15 - 来自专栏YG小书屋
ES 查询优化（二）
} } } 3、查询时提高索引的相关性 比如说，我们es存储的是nginx的日志，昨天nginx出问题了，那么查看最近七天的日志时，为了快速找出昨天的错误，也不忽略前天的错误，那么昨天的nginx-log
2.8K40发布于 2018-05-23 - 来自专栏腾讯云大数据与AI专家服务
Elasticsearch 索引生命周期管理详解与实践汇总篇
"nginx_weblogs": { //别名 "is_write_index":true //允许索引写 } } } 那么上面，我们就定义了一个以nginx-log
2.7K140发布于 2020-11-23 - 来自专栏运维博客
ELK7日志分析系统基础(二)
nginx-logs* ElasticSearch模板使用与Python操作 索引的分片及副本的设置 索引的分片以及副本数的设置： 三台ES，最多两个副本，其余的一个要用来存储主数据 # 设置分片和副本 PUT /nginx-log v #获取分片信息 GET /nginx-log/_search_shards # 插入数据 POST /nginx-logs/_doc { "server_name": "tianyancha.com ", "IP": "180.21.33.41" } # 查询数据分片所在位置(routing也就是数据的ID) GET /nginx-log/_search_shards? routing=GUmH0XUBiqEQwQWjL5hD 索引创建完成之后分片不可修改，副本数可以修改 # 修改副本数量 PUT /nginx-log/_settings { "number_of_replicas
1.3K20发布于 2020-11-23 - 来自专栏云原生生态圈
日志分析平台ELK 7.0时代来了
paths: - /logs/nginx/access.log - /logs/nginx/tech.log input_type: log document_type: nginx-log
50810发布于 2021-11-15 - 来自专栏让技术和时代并行
面对海量日志，为什么选用fluentd作为核心组件？
Path /home/logs/server/*.log Db /tmp/ng.db Db.sync Full Tag nginx-log
2K40发布于 2020-06-15 - 来自专栏Kubernetes 与 Devops 干货分享
EFK日志平台部署
indices: - index: "nginx-log-%{+yyyy.MM.dd}" when.contains: message: "nginx-log
1.7K20编辑于 2022-10-31 - 来自专栏运维开发故事
使用loki+promtail+alertmanager+prometheusAlert实现自定义日志采集查看和监控告警
.*$" - labels: appname: - job_name: nginx-log static_configs: - targets:
1.4K10编辑于 2025-01-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号