- 综合排序
- 最热优先
- 最新优先
- 来自专栏k8s技术圈
使用 vmagent 代替 Prometheus 采集监控指标
实例会分别采集部分指标，我们可以通过查看日志来进行验证： ☸ ➜ kubectl logs -f vmagent-0 -n kube-vm # ...... ☸ ➜ kubectl apply -f vmagent-config2.yaml 配置刷新有两种方式： 发送 SUGHUP 信号给 vmagent 进程 向 http://vmagent:8429/ -/reload 发送一个 http 请求 刷新后就可以开始采集上面的指标了，同样我们也可以通过 http://vmselect/select/0/vmui/ 来访问 vmui，比如现在我们来查询 pod = +inf vmagent 作为采集指标重要的一环，当然对它的监控也不可少。 vmagent 通过 http://vmagent:8429/metrics 暴露了很多指标，如 vmagent_remotewrite_conns 远程存储连接，vm_allowed_memory_bytes
4.8K40编辑于 2022-05-22 - 来自专栏运维开发故事
what is vmagent
背景 在之前的文章中，讲解了如何在k8s上安装vm；但采集指标的组件使用的是opentelemetry，那么vm是否有自己的组件去采集指标呢？ -55bbbd9f6d-497m5 2/2 Running 4 2d17h # 从命令结果来看，该pod有两个容器,而我们定义vmagent的yaml文件时，看起来只设置了一个 time: "2022-01-14T08:15:12Z" name: vmagent-vm-vmagent-55bbbd9f6d-497m5 namespace: monitoring-system -55bbbd9f6d-497m5 2/2 Running 4 50s # 通过vmagent api查看一下targets [root@kube-control-1 配置刷新说明 配置刷新有两种方式，如下： 发送SUGHUP信号给vmagent进程 向http://vmagent:8429/-/reload发送一个http请求 vmagent监控 vmagent作为采集指标重要的一环
1.6K10编辑于 2022-02-09 云服务器指标采集
一：整体架构说明备注： ● 选择Node_exporter作为指标采集器，因其成熟社区以及腾讯云云监控默认指标维度、粒度都不够； ● 选择Vmagent抓取Node_exporter指标，主要是其高性能 active (running) since Sun 2024-06-23 13:06:02 CST; 7s ago Main PID: 83821 (node_exporter) Tasks: 5 5. （比如TCP stat），调整其采集指标需谨慎评估。 vmagent自身监控 ● 采集自身指标备注：vmagent自身也暴漏了自身的metrics，本文采用最简方式，自己采集自己，只需要在config配置加上其自身监控job即可，如：[root@VM-120
1.5K41编辑于 2024-06-25- 来自专栏k8s技术圈
使用 Victoria Metrics Operator 管理 VM 集群
READY STATUS RESTARTS AGE vminsert-vmcluster-demo-84956d98b5- 5ckft 1/1 Running 0 93s vminsert-vmcluster-demo-84956d98b5-kpcj6 1/1 Running from [::1]:8429 -> 8429 我们可以在浏览器中访问 http://127.0.0.1:8429/targets 来检查 vmagent 采集的集群指标： vmagent 会通过 会采集 VM 集群相关组件的指标，包括 vmagent 本身的，所以我们可以正常看到 VM 集群的 Dashboard，但是没有采集其他的指标，比如 node-exporter，我们可以在 Grafana dashboard： 这个时候我们可以通过 VMNodeScrape 这个 CRD 对象来进行定义，VMNodeScrape 对象可以用来自动发现 Kubernetes 节点，创建如下所示的资源对象来采集
2.8K40编辑于 2022-05-22 - 来自专栏Kubernetes 与 Devops 干货分享
VictoriaMetrics原理及实践
低内存：更低的内存占用，官方对比Prometheus，可以释放7倍左右内存空间（线上对比大概4倍） 高压缩比：提供存储数据高压缩，官方说可以比Prometheus减少7倍的存储空间（线上对比大概是4~5倍 单节点版：直接运行一个二进制文件，既可以运行，官方建议采集数据点(data points)低于100w/s，推荐VM单节点版，简单好维护，但不支持告警。 单节点版直接运行一个二进制文件既，官方建议采集数据点(data points)低于 100w/s，推荐 VM 单节点版，简单好维护，但不支持告警。集群版支持数据水平拆分。 vmagent 的主要目的是用来收集指标数据然后存储到 VM 以及 Prometheus 兼容的存储系统中(支持 remote_write 协议即可)。 同时支持最大磁盘占用 相比 prometheus 使用较少的内存、cpu、磁盘 io 以及网络带宽 VictoriaMetrics 单节点版 下面模拟1个node-exporter，被Prometheus采集数据
5.2K20编辑于 2022-10-31 - 来自专栏ytkah
finecms5采集接口下载
哪里有finecms采集接口可以下载？ 我们在用finecms建站时比较纠结的是要如何采集文章，finecms商城是有售卖采集插件，价格是50元，有些朋友感觉比较贵，不太愿意买，我们也是比较权衡了才很久决定买下来，有需要的朋友可以联系ytkah 进行了解，价格比官方美丽很多，加微信咨询吧 finecms采集接口插件使用方法：联系ytkah咨询下载finecms采集插件 1、覆盖到根目录 2、 finecms5.wpm 文件为火车头发布模块 3、本采集接口支持全部自定义字段， data[status] 为内容状态，1为待审，9为通过 xiazai = 1 下载附件配置 ，1为下载，0为不下载 多文件字段发布标签如下： 多文件字段的文件 data
1.2K40发布于 2018-03-06 - 来自专栏我的小碗汤
Prometheus 文档缺失的一章 - 程序的 Metrics 优化
所以这篇博客就尝试介绍一下 metrics 采集量计算的逻辑和优化的方法。 添加 Label 的情况 如果添加一个新的 label，新的 label 会和原来的 metrics 做笛卡尔积[5]。 比如第一级分成 5 份，每一份保存好聚合结果之后，第二级再跑一次 L2 聚合。 Prometheus recording rules 多级工作原理 这样做的缺点，一个是时效性低，数据有延迟。 支持让 vmagent （VictoriaMetrics 系统中负责采集 metrics 的组件）在采集 metrics 的时候进行聚合。我们在一些场景下用了这个功能，资源使用很少，效果不错。 他们提的另一个方案是部署多个 vmagent，每一个都跑一个 stream aggregation：vmagent1 -> vmagent2 -> … -> vmagentN。
50510编辑于 2023-12-24 - 来自专栏运维开发故事
老炮新作，大一统的监控探针采集器 cprobe 开源了
：对于非边车模式的 Exporter，即一个 Exporter 对应多个采集目标的，通常很难做到不同的采集目标不同的配置，期望能有一种配置文件切分 INCLUDE 机制，不同的采集目标采用不同的配置 缺乏监控目标服务发现 ，把这些问题都解决掉，采用插件机制，All-in-One 采集所有监控目标，不同的插件体验一致，那该多好啊！ 以我当前的认知，监控数据的采集大抵需要三个角色，一个是部署在所有的目标机器上的，比如使用 categraf，中心端需要两个采集器，一个用于采集 Prometheus 协议的端点数据，可以使用 vmagent 当然，vmagent 和 cprobe 都是探针角色，理论上可以合二为一，未来也会考虑让 cprobe 支持采集 Prometheus 协议的端点数据，这样就可以把 vmagent 去掉了，不过 vmagent 这几个插件在整合的过程中，也做了一些改动，主要改动如下： 统一日志库，统一日志格式，统一日志级别控制 统一配置文件管理，支持配置文件切分 支持不同的采集目标不同的配置 支持采集目标的服务发现，目前主要是
55910编辑于 2023-12-13 - 来自专栏crossoverJie
老炮新作，大一统的监控探针采集器 cprobe 开源了
：对于非边车模式的 Exporter，即一个 Exporter 对应多个采集目标的，通常很难做到不同的采集目标不同的配置，期望能有一种配置文件切分 INCLUDE 机制，不同的采集目标采用不同的配置 缺乏监控目标服务发现 ，把这些问题都解决掉，采用插件机制，All-in-One 采集所有监控目标，不同的插件体验一致，那该多好啊！ 以我当前的认知，监控数据的采集大抵需要三个角色，一个是部署在所有的目标机器上的，比如使用 categraf，中心端需要两个采集器，一个用于采集 Prometheus 协议的端点数据，可以使用 vmagent 当然，vmagent 和 cprobe 都是探针角色，理论上可以合二为一，未来也会考虑让 cprobe 支持采集 Prometheus 协议的端点数据，这样就可以把 vmagent 去掉了，不过 vmagent 这几个插件在整合的过程中，也做了一些改动，主要改动如下： 统一日志库，统一日志格式，统一日志级别控制 统一配置文件管理，支持配置文件切分 支持不同的采集目标不同的配置 支持采集目标的服务发现，目前主要是
72510编辑于 2023-12-13 - 来自专栏Python使用工具
Socks5隧道实现高效采集
然而，当我们需要采集大量的数据时，如何才能高效、稳定地获得目标网站的信息呢？本文将为大家分享使用Socks5代理的技巧和方法，帮助你轻松地进行数据采集。 与HTTP代理相比，Socks5代理具有更高的性能和灵活性，适用于各种数据采集需求。第二步：选择合适的Socks5代理服务提供商在使用Socks5代理之前，我们需要选择一个可靠的代理服务提供商。 这种方式适用于有特定需求的数据采集任务，提高了灵活性和效率。第四步：合理使用Socks5代理无论你采用全局代理还是应用程序级别代理，合理使用Socks5代理都是至关重要的。 检测代理服务器的可用性：定期检测代理服务器的可用性，排查无效或低质量的代理，确保采集过程的稳定性。通过合理使用Socks5代理，你可以轻松实现高效的数据采集。 无论是个人用户还是企业用户，都可以借助Socks5代理提升数据采集的质量和效率。记住，选择可靠的代理服务提供商并合理配置代理参数是成功的关键。
37760编辑于 2023-08-11 - 来自专栏逸鹏说道
.net采集网页方法大全（5种）
(); } //} //catch //{ //} return html; } 第5种
1.3K170发布于 2018-04-11 - 来自专栏物联网智慧生活
5G无线采集网关 poe供电
5G无线采集网关TG463， 支持SIM/UIM卡，支持三大运营商5G/4G/3G/2G网络，支持RS485/232、开关量、模拟量、继电器数据采集，支持视频/图像/语音采集。 图片2.png 5G无线采集网关TG463功能配置 1、4×LAN、1×WLAN、1×RS232(1×RS485)、1×RS485、SIM卡、TF卡、2×DI、3×继电器、3×ADC、4×POE供电（ 2、提供模拟量/数字量/开关量等数据采集控制，支持视频/图像/语音采集 2、支持WIFI，5G/4G，网口等方式接入互联网，可多网同时在线。 3、支持边缘计算。 5、可兼容欧姆龙、西门子、三菱、台达、MODBUS等主流协议。 6、支持包括阿里云/华为云/微软/亚马逊/施耐德/西门子等平台接入。 7、支持通信中心入库的方式接入第三方平台或定制第三方协议。 5G无线采集网关应用 工业现场的数据采集和与远程传输、设备远程维护与控制、大型设备生命周期管理、各类型通信协议解析和转换等工业领域物联网应用场景。 图片3.png
83130发布于 2021-03-23 - 来自专栏CNCF
Prometheus一致性计划：远程写遵从性测试结果
在周一的PromCon[5]上，Tom Wilkie 展示了几周前录制时的测试结果。在直播部分，他已经有了最新进展[6]。 (0.01s) --- FAIL: TestRemoteWrite/vmagent/Invalid (20.66s) --- FAIL: TestRemoteWrite/vmagent : TestRemoteWrite/vmagent/JobLabel (20.66s) --- PASS: TestRemoteWrite/vmagent/NameLabel (20.66s) remote_write [4] 规范: https://docs.google.com/document/d/1LPhVRSFkGNSuU1fBd81ulhsCPR4hkSZyyBj1SZ8fWOM [5] PromCon: https://promcon.io/2021-online/ [6] 最新进展: https://docs.google.com/presentation/d/1RcN58LlS3V5tYCUsftqUvNuCpCsgGR2P7
63710发布于 2021-05-27 - 来自专栏腾讯云容器运维
如何通过TMP监控TKE独立集群的etcd
172.16.16.17 - ip: 172.16.155.8 - ip: 172.16.1.3 ports: - name: port port: 2379 protocol: TCP集群有5个 通过secret挂载etcd证书因为etcd这里都是有证书鉴权的 ，这里通过serviceMonitor采集etcd监控需要配置证书才行，serviceMonitor是可以直接读取后端prometheus 容器的证书配置的，tmp这里是vmagent，那么这里有什么办法将证书挂载到vmagent容器。 但是这里遇到一个问题，就是当我创建完ServiceMonitor后，tmp控制台的采集配置显示target都是空的，这是什么原因呢？ 图片tmp关机tke集群会默认创建一个prometheuses对象，这里会定义采集那些ServiceMonitor，这里看下集群的prometheuses配置，是不是有特殊的配置。
90530编辑于 2023-06-13 - 来自专栏工程监测
NLM5系列中继采集仪常见问题
NLM5系列中继采集仪常见问题1.UART 通讯问题使用 UART 接口时一定要确认收发双方的通讯参数完全一致，包括通讯速率、数据位、校验位、停止位参数。 （5）关闭唤醒侦听功能（仅保留定时采发功能）。（6） 关闭唤醒侦听功能， 设置很短的发送前导码时长， 接收设备设置为永不休眠。
32850编辑于 2022-07-14 - 来自专栏云原生实验室
使用 VictoriaMetrics 监控 K8s 集群
镜像无法拉取的情况，可以修改 statefulset.yaml 使用 bitnami/kube-state-metrics:2.0.0 部署 node_exporter node-exporter 用于采集服务器层面的运行指标 让 vmagent 自动添加 targets。 : labels: app: vmagent-k8s spec: serviceAccountName: vmagent-k8s containers : - name: vmagent-k8s image: victoriametrics/vmagent:v1.59.0 env: - name selector: app: prometheus-alert-center 部署 Alertmanager 和 Karma 警报一直是整个监控系统中的重要组成部分，Prometheus 监控系统中，采集与警报是分离的
3.7K40发布于 2021-06-09 B站监控2.0架构落地实践
采集器采集器Collector 是基于vmagent封装了一层。 主要有两个功能，一个是定时上报心跳给Contractor, 二是拿到相关采集配置，call reload api，触发vmagent开始采集。 当我们灰度了一些量后，发现vmagent占用的内存较高，通过heap pprof发现, 在每次pull 抓取上报的指标消耗内存较多，后面开启流式采集 promscrape.streamParse=true vmagent 自身会有随机(采集间隔时间)平滑load机制。比如我们采集间隔配置了30s,当vmagent拿到配置时，一个target最慢要30s才会有指标数据。 架构如下：比较idc采集方案，云上监控有以下几点不同：Contractor支持从公网pull本zone所需的采集配置。为什么使用Prometheus而不是vmagent采集？
63220编辑于 2024-12-26- 来自专栏物联网智慧生活
5G4G数据采集遥测终端机
计讯物联5G/4G数据采集遥测终端机，丰富行业接口可对接视频监控、流量计水位计各种传感器、水电表压力计等仪表、以及plc等工业设备，完成数据存储、监测因子采集上传、管理中心远程实时在线监测、设备远程控制 图片1.png 5G/4G数据采集遥测终端机功能 数据定时采集、存储、主动上报。 预警加报。 多通讯方式，支持2.5G/3G/4G/GPRS/NB-IoT传输功能。 设备电压监测、工况监测。 支持图像抓拍、视频数据采集上报，支持数据字符与视频叠加功能。 支持多中心通信，可同时与多个后台服务器进行通信。 断电、断网续传和数据自动补发功能，保证数据完整性。 5G/4G数据采集遥测终端机应用场景 一、智慧水务水利：水质、水位、水雨情、水库大坝、中小河流、城市内涝、山洪灾害等监测项目。 四、智慧城市：交通、安防、环卫等数据采集监测项目。
69220发布于 2021-08-13 - 来自专栏全栈工程师修炼之路
5.Prometheus监控入门之企业监控实战采集展示
流程步骤: Step 1.我们先查看当前kube-state-metrics兼容性矩阵与我们kubernetes集群版本的对应参考地址,下面最多记录5个kube状态度量和5个kubernetes版本。 ", # "remote_checksum": "d4a16cebda1b6037dcb68004d0ff4cdf4079bbc5", # "remote_md5sum": null # } Step 此时我们可以将__metrics_path__替换成/api/v1/nodes/${1}:10250/proxy/metrics,如此便采用了kubelet采集拉取监控指标。 https://grafana.com/grafana/dashboards/13105 实践目标: 使用cadvisor采集Pod容器相关信息+使用kube-state-metrics采集集群相关信息 +使用Grafana将Prometheus采集到的数据进行展示。
1.2K20编辑于 2022-09-29 - 来自专栏物联网智慧生活
5G物联网数据采集网关-智能车间应用
智能车间 5G物联网数据采集网关 5G+物联网的来临工业制造业逐步趋向智能化，各企业工厂致力于打造具有传感设备、工控设备，利用5G无线通信，实现与远程管理平台数据采集传输的人机界面的高效交互的智能车间 智能车间 5G物联网数据采集网关 5G物联网数据采集网关，作为核心网络设备在整个智能化改造中起到承上启下的作用，连接前端海量传感设备和工控设备进行目标数据的采集与传输工作，实施协议转换、数据分析处理，对上与管理平台进行数据交互 图片2.png 5G物联网数据采集网关功能作用 1、强大的数据采集功能，可实现串口数据、模拟量和开关量信号、2路局域网数据的采集并转发至指定服务器。 3、行业接口丰富可兼容采集多种工业传感器采集需求，RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出（外设供电）等。 4、通信灵活，集5G/4G网络、广域网、局域网、GPRS、WIFI（可选）等多种通信方式，可选NB-IOT通信方式。
1.6K30发布于 2021-03-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号