- 综合排序
- 最热优先
- 最新优先
- 来自专栏世荣的博客
渗透测试-信息收集-2
1.4 收集常用端口信息 在渗透测试的过程中，对端口信息的收集是一个很重要的过程，通过扫描服务器开放的端口以及从该端口判断服务器上存在的服务，就可以对症下药，便于我们渗透目标服务器。 所以在端口渗透信息的收集过程中，我们需要关注常见应用的默认端口和在端口上运行的服务。 注入，提权，SA弱口令，爆破 1521 Oracle数据库 TNS爆破，注入，反弹Shell 5432 PostgreSQL数据库 SysBase/DB2数据库 爆破，注入 邮箱端口: 端口号 端口说明 攻击方向 25 SMTP邮件服务 基础数据拿到后，就开始进行技术手段强化了。
1.7K20编辑于 2022-03-21 - 来自专栏华章科技
在中国我们如何收集数据？全球数据收集大教程
如果想要从数据收集之日起的完整国民经济核算资料，权威的来源是中国国家统计局国民经济核算司出版的《中国国内生产总值核算历史资料》(1952-1995)和《中国国内生产总值核算历史资料》(1996-2002 如果你想要从数据收集之日起的较为完整的宏观经济数据，《新中国五十年统计资料汇编》和《新中国55年统计资料汇编》是一个不错的选择。遗憾的是，它们都没有提供电子版，但后者可以在中国资讯行下载。 http://www.library.yale.edu/un/un2d.htm 联合国统计年鉴Statistics Yearbook (UN) 主要包括统计数据和指标(如月度统计公报)、统计方法、统计源与参考工具等内容 http://www.stat-usa.gov/ 能源技术数据交换(ETDE)与能源数据库 收集与交换能源研究与技术的信息,能源文献收藏量为世界第一 http://www.etde.org/ 日本统计 全面收集了全球的数据资源。包括美国、加拿大、拉丁美洲、欧洲、远东地区以及国际组织等。
2.3K20发布于 2018-08-16 - 来自专栏全栈程序员必看
数据收集渠道_数据挖掘数据集
数据集 | 聚数力平台 | 大数据应用要素托管与交易平台 1.GOT-10K中科院发布了目标追踪数据集，1万多条视频，150万个边界框【新闻稿】【下载链接】 2.谷歌再度开放Youtube视频数据集— 目前主流视频集如下： 1．Market-1501，用于人员重新识别的数据集，该数据集是在清华大学一家超市门前收集的。总共使用了六台相机，其中包括五台高分辨率相机和一台低分辨率相机。 总体而言，此数据集包含32,668个带注释的1,501个身份的边界框【下载链接】 2．CUHK03，MATLAB数据文件格式，1467个行人，收集自The Chinese University of Hong CIFAR-10和CIFAR-100被标记为8000万个微小图像数据集的子集。他们由Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集。 【下载链接】 人脸关键点检测 1.csdn的一篇博客，里面收集的有论文和数据集。
1.8K30编辑于 2022-11-03 - 来自专栏mantou大数据
JVM GC知识回顾 1.分代收集2.分区收集
1.分代收集 当前主流VM垃圾收集都采用”分代收集”(Generational Collection)算法, 这种算法会根据对象存活周期的不同将内存划分为几块, 如JVM中的 新生代、老年代、永久代. 这种方式保证了G1可以在有限的时间内获取尽可能高的收集效率. 2.1 新生代收集 ? G1的新生代收集跟ParNew类似: 存活的对象被转移到一个/多个Survivor Regions. 3 5-1 (Stop the world) 在含有存活对象和完全空闲的区域上进行统计 5-2 (Stop the world) 擦除Remembered Sets. 5-3 (Concurrent) 再次标记阶段(index 4) 1.使用Snapshot-at-the-Beginning(SATB)算法比CMS快得多. 2.空region直接被回收. 拷贝/清理阶段(Copying/Cleanup - Phase) 1.年轻代与老年代同时回收. 2.老年代内存回收会基于他的活跃度信息.
2.5K63发布于 2019-02-13 - 来自专栏JavaEdge
HotSpot垃圾收集器1 Serial垃圾收集器2 ParNew垃圾收集器3 Parallel Scavenge垃圾收集器老年代垃圾收集器1 Serial Old垃圾收集器2 Parallel Ol
HotSpot虚拟机提供了多种垃圾收集器,每种收集器都有各自的特点,没有最好的垃圾收集器,只有最适合的垃圾收集器 根据新生代和老年代各自的特点,我们应该分别为它们选择不同的收集器,以提升垃圾回收效率. GC线程,避免了线程切换的开销 采用"复制"算法 2 ParNew垃圾收集器 ParNew是Serial的多线程版本. ? 降低停顿时间的两种方式 1.在多CPU环境中使用多条GC线程,从而垃圾回收的时间减少,从而用户线程停顿的时间也减少; 2.实现GC线程与用户线程并发执行。 2 Parallel Old垃圾收集器 Parallel Scavenge的老年代版本,一般它们搭配使用,追求CPU吞吐量 它们在垃圾收集时都是由多条GC线程并行执行,并暂停一切用户线程,使用"标记-整理 G1收集器(Garbage-First) G1是当今最前沿的垃圾收集器成果之一.
1.2K80发布于 2018-05-16 - 来自专栏全栈工程师修炼之路
ORACLE数据库收集
[TOC] oracle 12C静默安装方式 https://www.cnblogs.com/lkj371/p/15291392.html ORACLE 12C R2 RAC 安装配置指南 https EXPIRED(GRACE)、4 LOCKED(TIMED)、8 LOCKED）； 2、组合状态（后四种为组合状态：5 EXPIRED & LOCKED(TIMED)、6 EXPIRED(GRACE) 以上的9种状态可以分为两大类： 1、基本状态（前五种为基本状态：0 OPEN、1 EXPIRED、2 EXPIRED(GRACE)、4 LOCKED(TIMED)、8 LOCKED）； 2、组合状态（后四种为组合状态 ’; 1.7.数据库账户口令加密存储 11g数据里面的账户口令本来就是加密存储的。 11g版本，数据库层面就是加密的嘛~ prompt ============================= prompt == 8.数据库密码安全性校验函数 prompt =========
75630编辑于 2022-09-29 - 来自专栏奇点大数据
Flume：流式数据收集利器
在数据生命周期里的第一环就是数据收集。收集通常有两种办法，一种是周期性批处理拷贝，一种是流式收集。今天我们就说说流式收集利器Flume怎么使用。 使用flume收集数据保存到多节点 by 尹会生 1 使用flume 收集数据到hdfs 由于工作的需要，领导要求收集公司所有在线服务器节点的文本数据，进行存储分析，从网上做了些比较，发现flume 那么flume一直监视这个文件就可以持续收集数据到hdfs了。通过官方文档发现flume的tail方式很好用，这里就使用了exec类型的source收集数据。 2 收集数据到多个数据源 完成了领导的任务，继续研究下flume的其他强大功能，测试了一下上面提到的数据同时推送到其他节点的功能，使用的方法就是指定多个channel和sink，这里以收集到其他节点存储为文件格式为例 ，需要做以下修改 # agent1 的channel和sink改为2个 agent1.channels = c1 c2 agent1.sinks = k1 k2 # 第二个sink改为数据收集节点的ip
1.5K60发布于 2018-04-11 - 来自专栏大数据和云计算技术
Hadoop数据收集系统—Flume
Agent 用于采集数据 数据流产生的地方 通常由source和sink两部分组成 Source用于获取数据，可从文本文件，syslog，HTTP等获取数据； Sink将Source获得的数据进一步传输给后面的 三种可靠性级别 agentE2ESink[("machine"[,port])] gent收到确认消息才认为数据发送成功，否则重试. 构建基于Flume的数据收集系统 1. Agent和Collector均可以动态配置 2. 可通过命令行或Web界面配置 3. 常用架构举例—拓扑2 agentA : src | agentE2ESink("collectorA",35856); agentB : src | agentE2ESink("collectorA", ); agentE : src | agentE2ESink("collectorC",35856); agentF : src | agentE2ESink("collectorC",35856);
84820发布于 2018-07-26 - 来自专栏运维开发王义杰
OpenTelemetry：深度收集遥测数据
今天，我们将进一步讨论如何使用 OpenTelemetry 收集更丰富的遥测数据，包括关键方法的参数，错误信息，以及查询时间过长的 SQL 语句。 1. 收集方法参数 在一些关键的方法中，我们可能需要收集方法的输入参数或者返回结果。OpenTelemetry 提供了一种机制，允许我们将这些数据添加到 Span 的属性中。 , arg2), ) // do some work... } 在这段代码中，我们使用 span.SetAttributes() 方法将方法的参数添加到 Span 的属性中。 2. 收集错误信息 当我们的方法出现错误时，我们可能希望将错误信息添加到 Span 中。OpenTelemetry 提供了一种标准的机制来表示错误。 结论 通过以上的方式，我们可以利用 OpenTelemetry 收集更丰富的遥测数据，进一步提升对应用行为的理解和控制。我们希望这篇文章能对大家的项目有所帮助，如果有任何疑问或建议，欢迎留言讨论。
66920编辑于 2023-08-10 - 来自专栏漫流砂
Metagoofil 元数据收集工具
Metagoofil是一个信息收集工具用于提取目标公司元数据的公共文档(pdf、doc、xls、ppt、docx、pptx、xlsx) 这个工具会搜索谷歌，之后识别并且下载这些数据到本地，之后识别不同的 不得不说，其实我对于theharvester的主要关注点在于它的邮箱收集功能 而对于metagoofil比较关注的是应用程序及其版本信息，有时候这些信息会决定我们整个渗透测试的走向，比如我们在此时发现一个程序存在
1.7K10发布于 2020-08-19 - 来自专栏测试开发干货
接口测试平台184：并发用例报告数据收集-数据准备bug修复阶段 （2）
这个错误的意思是， 在数据库中查询这个叫做case_id的字段发生了报错，那我们打开models.py看一下就知道了。 原来问题是数据库中case_id的首字母大写。 所以改正代码如下： 再次测试： 本次报错为： 原来是wqrf_run_case.py中这个数据库写入的问题。 在我们之前从数据库提取的时候，忘记后面加上[0] 了，所以会报错说没有具体的字段，因为现在拿到的是一个类似列表，并不是确定的某行数据。 所以改成如下： 然后再次测试。 这回没有报错，输出正常： 然后我们去检查数据库： 发现了问题，我们存入的数据中忘记了 step_id: 所以在do_step函数中随便找个位置加上这句： 然后删除脏数据，再次测试： 这次的数据终于正常了 内部的数据也是正常的，没有发生混乱。
32130编辑于 2022-05-20 - 来自专栏java工会
收集和存储数据——数据仓库
数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。 其实数据产品从头到尾做的事情就是帮公司收集数据、存储数据、呈现数据、预测数据，拆分到具体的工作中，将会在下面介绍。 收集和存储数据：数据仓库 数据仓库是存放收集来的数据的地方，做数据分析现在一般尽量不在业务数据上直接取数，因为对业务数据库的压力太大，影响线上业务的稳定。 1. 数据收集的时间间隔 数据仓库里的数据按照数据收集的时间间隔大致分为两类： 一类是可以进行离线处理的数据，一般包括内部业务数据库及外部数据（比如：爬虫或第三方API）；一类是需要实时处理的数据，比如：内部业务日志数据 我们要分辨清楚，哪些数据采用批处理就可以了，哪些数据是有实时处理的价值的，并不是说所有数据都实时处理就是更好，毕竟集群资源是有限的，要合理利用计算资源。 2.
1.1K00发布于 2018-07-31 - 来自专栏逸鹏说道
★Kali信息收集~2.Whois ：域名信息
Web地址：http://whois.chinaz.com/ | http://www.whois.net/ 软件参数：whois 常用命令：whois 域名 （重点看whois server和Re
3.8K60发布于 2018-04-09 - 来自专栏大数据文摘
别想收集学生的大数据
一年前，数据分析公司InBloom开始监视纽约州公立学校的所有学生。这些学校向该公司提供了覆盖400多个领域的大量数据，包括从考试成绩、特殊教育注册到孩子有没有吃免费午餐的大量个人细节。 提倡在教育领域应用数据的非营利组织数据质量行动(Data Quality Campaign)总干事艾米·罗格斯塔德(Aimee Rogstad)说，“这种局面是我们从未遇到过的。” 但是该公司却没能说服人们相信它对数据进行了充分保护。 在宣布公司关门当天举行的一次产业研讨会上，他说，“我们往往对隐私抱有过分的戒心，没有足够主动和积极地去追求数据所能带来的益处。我们对个性化学习或者数据驱动型教学是有信心的。 另一家创业公司Clever掌握着2万所学校的数据，首席执行官泰勒·波斯门尼(Tyler Bosmeny)说，去年的产业研讨会对学生隐私没有足够关注，但今年就只盯着这一个议题了。
1.1K60发布于 2018-05-22 - 来自专栏木东居士的专栏
DataTalk：收集有用的数据问题
因此，我们希望能将数据群聊中的有趣、有料、有价值的内容截取出来，以一种更永久的方式收集汇总，最终展现给大家。 0x01 DataTalk 是干什么的？ 这就是 DataTalk 了，我们希望 DataTalk 能够记载我们这批数据人在日常交流中迸射出来的灵感、激烈讨论的技术以及来之不易的产品思考。 0x02 DataTalk 的主题有哪些 我们将 DataTalk 的讨论范围大致定为如下几个模块：数据开发、数据仓库、数据分析、数据挖掘、数据产品和数据可视化。 也就是说，居士我们希望凡是和数据相关的方方面面都包括进来。 当然前期是以数据开发、数据仓库和数据挖掘为主。后续随着学习范围的扩充，逐渐扩大范围。 0xFF 总结 DataTalk 从本质上来讲是讲大家平时讨论的问题收集和整理出来。 为什么要这样做？
3.1K40发布于 2018-05-25 - 来自专栏about云
Logstash收集多数据源数据神器
2.Logstash工作包含哪些流程？ 3.logstash 是以什么方式流转数据的？ 4.logstash架构包含哪些内容？ Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地进行存储。 ? 我们可以看到可以搜集多种类型的数据，而且能够把他们标准化，然后发往目的地。对于这些数据，可以用来分析、归档、监控、报警灯。 第二部分设计实现 2.工作流程 分为三个阶段 ? Persistent Queue（PQ）处理流程 1、一条数据经由input进入PQ，PQ将数据备份在disk，然后PQ响应input表示已收到数据； 2、数据从PQ到达filter/output，其处理到事件后返回 引用logstash event的属性（字段） 在配置中可以引用logstash event的属性（字段），方式如下： 1、直接引用字段 2、在字符串中以sprintf方式引用 ? ?
2.1K20发布于 2019-12-26 - 来自专栏从ORACLE起航，领略精彩的IT技术。
主机、数据库日志收集
Current Version：V1.0.0 Latest Version：主机、数据库日志收集 Create Time：2016-04-08 Update Time：2016-04-08 15:24 一、主机系统日志收集： Linux AIX HP-UX Solaris Windows 二、数据库告警日志收集： Oracle 一、主机系统日志收集： 创建主机日志收集目录: --Unix/Linux 条日志输出到linux1000.log文件中： # tail -1000 /var/log/messages > /var/collect/OS/linux1000.log AIX AIX系统日志文件收集 二、数据库告警日志收集： Oracle 告警日志检查： 10g告警日志默认所在路径:ORACLE_BASE/admin/ORACLE_SID/bdump/alert*.log 11g告警日志默认所在路径
2.2K30编辑于 2022-05-06 - 来自专栏呼延
Jvm数据区域与垃圾收集
目录 目录 前言 自动内存管理机制 运行时数据区域 内存分配 虚拟机上对象的创建过程 创建的对象都包括了哪些信息? 对象内存的分配机制 垃圾收集 对哪些内存进行回收? 运行时数据区域 JVM在执行java代码的时候,会将系统分配给他的内存划分为几个区域,来方便管理.比较经典的运行时数据区域图如下: ? 因为这一区域存放的内容,垃圾收集的效率是比较低的(常量,静态变量等较少需要被回收),所以当数据进入此区域,就好像永久存在了一下. 实例数据: 这块的数据就是我们在代码中定义的那些字段等等. 对齐填充: 这块数据并不是必然存在的,当对象实例数据不是8字节的整数倍的时候,用空白字符对齐一下. 所以在 HotSpot中,整个Java堆大致是如下的样子(新生代和老年代的比例默认为1:2): ?
61020发布于 2019-08-12 - 来自专栏落叶飞翔的蜗牛
G1垃圾收集器详解（2）
G1还是一种带压缩的收集器，在回收老年代的分区时，是将存活的对象从一个分区拷贝到另一个可用分区，这个拷贝的过程就实现了局部的压缩。 收集集合（CSet）：一组可被回收的分区的集合。 在CSet中存活的数据会在GC过程中被移动到另一个可用分区，CSet中的分区可以来自eden空间、survivor空间、或者老年代。比如说这俩个区域要被回收则就可以称之为CSet： ? G1内部做了一个优化，一旦发现没有引用指向巨型对象，则可直接在年轻代收集周期中被回收。 下面来看图说明：Region1和Region3中的对象都引用了Region2中的对象，因此在Region2的RSet中了这两个引用。 ? 可以看到，对于每一个Region都会有一个RSet。 G1应对这个问题采用了改变RSet的密度的方式，在PRT中将会以三种模式记录引用： 1.稀少：直接记录引用对象的卡片索引2.细粒度：记录引用对象的分区索引3.粗粒度：只记录引用情况，每个分区对应一个比特位
1.6K20发布于 2021-07-14 Vue——vue2错误处理收集【七】
前言 在initEvents中发现的有意思的东西，就是 Vue 针对 Error 的处理，说实话之前压根没在意过 Vue 是如何收集处理 Error 的； errorHandler：https://v2 .cn.vuejs.org/v2/api#errorHandler ? == false if (capture) return } catch (e: any) { // https://v2. { popTarget() } } globalHandleError function globalHandleError(err, vm, info) { // https://v2. cn.vuejs.org/v2/api/#errorHandler // 如果全局配置存在.errorHandler则调用errorHandler输出错误信息 // 没配置的话在浏览器环境下会通过
60310编辑于 2024-08-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号