- 综合排序
- 最热优先
- 最新优先
- 来自专栏iSharkFly
Confluence 6 数据收集隐私策略 原
为什么 Confluence 收集使用数据？ 我们收集的数据将有助于我们从成千上万的用户使用中确定哪些对用户而言是重要的，然后将会帮助我们在后续的版本中持续进行更新。 那些数据将会被收集？ 在 Confluence 中，数据总是会被收集。 Confluence 如何收集数据？ 如果 Confluence 不能连接到互联网上，这些数据将不会上传。 在 Confluence 中启用/禁用数据收集 你可以在你的 Confluence 安装实例中关闭和启用数据收集。进入 ? https://www.cwiki.us/display/CONF6ZH/Data+Collection+Policy
61250发布于 2019-01-30 - 来自专栏逸鹏说道
★Kali信息收集~★6.Dmitry:汇总收集
概述： DMitry（Deepmagic Information Gathering Tool）是一个一体化的信息收集工具。它可以用来收集以下信息： 1. 域名中包含的邮件地址 尽管这些信息可以在Kali中通过多种工具获取，但是使用DMitry可以将收集的信息保存在一个文件中，方便查看。 参数： ? filtered 3/tcp filtered 4/tcp filtered 5/tcp filtered 6/
97190发布于 2018-04-09 - 来自专栏姚红专栏
日志收集-Elk6
新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 如果一个节点启动了长时间的垃圾收集，这可能会出现问题 - 搜索请求仍将被转发到缓慢的节点，并且会影响搜索延迟。 在6.1中，我们添加了一个称为自适应副本选择的实验性功能。 elasticsearch-6.2.2/config/jvm.options 解决：权限不够 chmod 777 -R 当前es目录 常见配置问题资料：https://www.jianshu.com/p/c5d6ec0f35e0 output等说明 什么是logstash (文档地址 https://www.elastic.co/guide/en/logstash/current/index.html) 开源的日志收集引擎
1.1K20发布于 2019-08-21 - 来自专栏大数据学习笔记
logstash 6.x 收集syslog日志
@@remote-host:514 *.* @@node1:514 重新rsyslogd程序 [root@node2 ~]# systemctl restart rsyslog 3、logstash端收集数据 这时发现logstash端已经收集到node2的syslog日志数据 [2018-04-26T14:45:18,361][INFO ][logstash.inputs.syslog ] new connection "facility_label" => "system", "timestamp" => "Apr 26 14:39:23", "severity" => 6, "facility_label" => "system", "timestamp" => "Apr 26 14:39:23", "severity" => 6, "facility_label" => "clock", "timestamp" => "Apr 26 14:40:01", "severity" => 6,
1.1K10编辑于 2022-05-06 - 来自专栏iSharkFly
Confluence 6 垃圾收集性能问题 原
不要尝试一次增加到位，这样可能会导致垃圾收集时间的增长。 删除所有老的收集参数 只有在完全的 GC 后，JVM 将会重新定义 Eden, Survivor 等参数的大小，这个大小是基于 GC 处理来确定的。 如果你的 JVM 中添加了参数，当在垃圾收集的时候遇到了困难。那么我们建议你删除掉你在 GC 前添加的参数，除非你添加的这些参数是为了解决一些特定的问题。 如果这个 VM 了使用了 swap 文件，那么当 JVM 进行垃圾收集的时候，将会把这些 swap 文件载入到内存后清理他们，这个将会导致垃圾清理进程的长时间暂停。 https://www.cwiki.us/display/CONF6ZH/Garbage+Collector+Performance+Issuese
58030发布于 2019-01-30 - 来自专栏华章科技
在中国我们如何收集数据？全球数据收集大教程
如果想要从数据收集之日起的完整国民经济核算资料，权威的来源是中国国家统计局国民经济核算司出版的《中国国内生产总值核算历史资料》(1952-1995)和《中国国内生产总值核算历史资料》(1996-2002 如果你想要从数据收集之日起的较为完整的宏观经济数据，《新中国五十年统计资料汇编》和《新中国55年统计资料汇编》是一个不错的选择。遗憾的是，它们都没有提供电子版，但后者可以在中国资讯行下载。 http://www.stat-usa.gov/ 能源技术数据交换(ETDE)与能源数据库 收集与交换能源研究与技术的信息,能源文献收藏量为世界第一 http://www.etde.org/ 日本统计 http://www.clark.net/pub/lschank/web/govstats.html 网上数据(加州大学圣迭戈分校)Data on the Net (UC San Diego ) 收集了关于美国经济和其它数据的站点 全面收集了全球的数据资源。包括美国、加拿大、拉丁美洲、欧洲、远东地区以及国际组织等。
2.3K20发布于 2018-08-16 - 来自专栏全栈程序员必看
数据收集渠道_数据挖掘数据集
【新闻稿】【论文地址】 【下载链接】 3.OTB 【下载链接】 4.VOT【下载链接】 5.YouTube-8M（用于多标签分类）—YouTube-BB【csdn介绍】 【下载链接】 6.ALOV300 目前主流视频集如下： 1．Market-1501，用于人员重新识别的数据集，该数据集是在清华大学一家超市门前收集的。总共使用了六台相机，其中包括五台高分辨率相机和一台低分辨率相机。 总体而言，此数据集包含32,668个带注释的1,501个身份的边界框【下载链接】 2．CUHK03，MATLAB数据文件格式，1467个行人，收集自The Chinese University of Hong CIFAR-10和CIFAR-100被标记为8000万个微小图像数据集的子集。他们由Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集。 【下载链接】 人脸关键点检测 1.csdn的一篇博客，里面收集的有论文和数据集。
1.8K30编辑于 2022-11-03 - 来自专栏全栈工程师修炼之路
ORACLE数据库收集
OPEN 1 EXPIRED 2 EXPIRED(GRACE) 4 LOCKED(TIMED) 8 LOCKED 5 EXPIRED & LOCKED(TIMED) 6 OPEN、1 EXPIRED、2 EXPIRED(GRACE)、4 LOCKED(TIMED)、8 LOCKED）； 2、组合状态（后四种为组合状态：5 EXPIRED & LOCKED(TIMED)、6 OPEN、1 EXPIRED、2 EXPIRED(GRACE)、4 LOCKED(TIMED)、8 LOCKED）； 2、组合状态（后四种为组合状态：5 EXPIRED & LOCKED(TIMED)、6 ’; 1.7.数据库账户口令加密存储 11g数据里面的账户口令本来就是加密存储的。 --drop user scott cascade; prompt =========================== prompt == 6.dba权限账户检查 prompt ======
75630编辑于 2022-09-29 - 来自专栏奇点大数据
Flume：流式数据收集利器
在数据生命周期里的第一环就是数据收集。收集通常有两种办法，一种是周期性批处理拷贝，一种是流式收集。今天我们就说说流式收集利器Flume怎么使用。 使用flume收集数据保存到多节点 by 尹会生 1 使用flume 收集数据到hdfs 由于工作的需要，领导要求收集公司所有在线服务器节点的文本数据，进行存储分析，从网上做了些比较，发现flume 我这里的传感器数据被统一收集到了nginx中，因此只要实现将nginx数据输出到hdfs就可以完成汇总了，为了便于分析，nginx的数据打印到了一个固定文件名的文件中，每天分割一次。 那么flume一直监视这个文件就可以持续收集数据到hdfs了。通过官方文档发现flume的tail方式很好用，这里就使用了exec类型的source收集数据。 2 收集数据到多个数据源 完成了领导的任务，继续研究下flume的其他强大功能，测试了一下上面提到的数据同时推送到其他节点的功能，使用的方法就是指定多个channel和sink，这里以收集到其他节点存储为文件格式为例
1.5K60发布于 2018-04-11 - 来自专栏大数据和云计算技术
Hadoop数据收集系统—Flume
Agent 用于采集数据 数据流产生的地方 通常由source和sink两部分组成 Source用于获取数据，可从文本文件，syslog，HTTP等获取数据； Sink将Source获得的数据进一步传输给后面的 对Agent数据进行汇总，避免产生过多小文件； 避免多个agent连接对Hadoop造成过大压力 ； 中间件，屏蔽agent和hadoop间的异构性。 三种可靠性级别 agentE2ESink[("machine"[,port])] gent收到确认消息才认为数据发送成功，否则重试. agentBESink[("machine"[,port])] 效率最好，agent不写入到本地任何数据，如果在collector 发现处理失败，直接删除消息。 构建基于Flume的数据收集系统 1. Agent和Collector均可以动态配置 2. 可通过命令行或Web界面配置 3.
84820发布于 2018-07-26 - 来自专栏运维开发王义杰
OpenTelemetry：深度收集遥测数据
今天，我们将进一步讨论如何使用 OpenTelemetry 收集更丰富的遥测数据，包括关键方法的参数，错误信息，以及查询时间过长的 SQL 语句。 1. 收集方法参数 在一些关键的方法中，我们可能需要收集方法的输入参数或者返回结果。OpenTelemetry 提供了一种机制，允许我们将这些数据添加到 Span 的属性中。 收集 SQL 查询 如果我们的服务需要执行 SQL 查询，OpenTelemetry 可以帮助我们追踪这些查询的执行情况。 结论 通过以上的方式，我们可以利用 OpenTelemetry 收集更丰富的遥测数据，进一步提升对应用行为的理解和控制。我们希望这篇文章能对大家的项目有所帮助，如果有任何疑问或建议，欢迎留言讨论。 在下一篇文章中，我们将探讨如何使用 OpenTelemetry 的 Metrics API 进行指标收集，敬请期待！
66920编辑于 2023-08-10 - 来自专栏漫流砂
Metagoofil 元数据收集工具
Metagoofil是一个信息收集工具用于提取目标公司元数据的公共文档(pdf、doc、xls、ppt、docx、pptx、xlsx) 这个工具会搜索谷歌，之后识别并且下载这些数据到本地，之后识别不同的 不得不说，其实我对于theharvester的主要关注点在于它的邮箱收集功能 而对于metagoofil比较关注的是应用程序及其版本信息，有时候这些信息会决定我们整个渗透测试的走向，比如我们在此时发现一个程序存在
1.7K10发布于 2020-08-19 - 来自专栏渗透测试专栏
渗透测试信息收集技巧(6)——情报分析
情报分析 广义上情报分析是对全源数据进行综合、评估、分析和解读，将处理过的信息转化为情报以满足已知或预期用户需求的过程。 实际上对于网络空间情报分析主要对于目标的ip,域名，电话，邮箱，位置，员工，公司出口网络，内部网络等等进行收集，然后进行综合判断整理汇聚成数据库。 收集完成以后依然还可以继续对每个点继续探测，探测方法:右键节点->点击Al Transforms弹出的下拉列表中点击相应收集点即可立刻探测。 同时malego可以关联shodan搜索引擎，输入自己的key以后，可以使用shodan数据库探测。 maltego探测完毕以后可以导出探测数据，点击左上方的maltego图标弹出的下拉列表中export，然后紧接着选择Generate Roport，导出格式为PDF，输入名称，点击save。
49720编辑于 2024-09-26 - 来自专栏java工会
收集和存储数据——数据仓库
数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。 其实数据产品从头到尾做的事情就是帮公司收集数据、存储数据、呈现数据、预测数据，拆分到具体的工作中，将会在下面介绍。 收集和存储数据：数据仓库 数据仓库是存放收集来的数据的地方，做数据分析现在一般尽量不在业务数据上直接取数，因为对业务数据库的压力太大，影响线上业务的稳定。 1. 数据收集的时间间隔 数据仓库里的数据按照数据收集的时间间隔大致分为两类： 一类是可以进行离线处理的数据，一般包括内部业务数据库及外部数据（比如：爬虫或第三方API）；一类是需要实时处理的数据，比如：内部业务日志数据 数据的分层存储 另外数据仓库的数据存储是分层级的，这个架构一方面跟数据拉取方式有关，一方面也是为了对数据进行层级的抽象处理。
1.1K00发布于 2018-07-31 - 来自专栏大数据文摘
别想收集学生的大数据
一年前，数据分析公司InBloom开始监视纽约州公立学校的所有学生。这些学校向该公司提供了覆盖400多个领域的大量数据，包括从考试成绩、特殊教育注册到孩子有没有吃免费午餐的大量个人细节。 今年到目前为止，包括纽约、弗吉尼亚和肯塔基在内的八个州通过立法，限制或禁止将学生数据出售或分享给营销公司或第三方机构；此外还有十多个州有类似的立法待决——大数据正感受到一股强劲的抵制力量。 提倡在教育领域应用数据的非营利组织数据质量行动(Data Quality Campaign)总干事艾米·罗格斯塔德(Aimee Rogstad)说，“这种局面是我们从未遇到过的。” 但是该公司却没能说服人们相信它对数据进行了充分保护。 在宣布公司关门当天举行的一次产业研讨会上，他说，“我们往往对隐私抱有过分的戒心，没有足够主动和积极地去追求数据所能带来的益处。我们对个性化学习或者数据驱动型教学是有信心的。
1.1K60发布于 2018-05-22 - 来自专栏落叶飞翔的蜗牛
G1垃圾收集器（6）之写屏障
写屏障是指，在改变特定内存的值（实际上也就是写入内存）的时候额外执行的一些动作。在大多数的垃圾回收算法中，都利用到了写屏障。写屏障通常用于在运行时探测并记录回收相关指针(interesting pointer)，在回收器只回收堆中部分区域的时候，任何来自该区域外的指针都需要被写屏障捕获，这些指针将会在垃圾回收的时候作为标记开始的根。JAVA使用的其余的分代的垃圾回收器，都有写屏障。举例来说，每一次将一个老年代对象的引用修改为指向年轻代对象，都会被写屏障捕获，并且记录下来。因此在年轻代回收的时候，就可以避免扫描整个老年代来查找根。
1.8K30发布于 2021-05-17 - 来自专栏木东居士的专栏
DataTalk：收集有用的数据问题
因此，我们希望能将数据群聊中的有趣、有料、有价值的内容截取出来，以一种更永久的方式收集汇总，最终展现给大家。 0x01 DataTalk 是干什么的？ 这就是 DataTalk 了，我们希望 DataTalk 能够记载我们这批数据人在日常交流中迸射出来的灵感、激烈讨论的技术以及来之不易的产品思考。 0x02 DataTalk 的主题有哪些 我们将 DataTalk 的讨论范围大致定为如下几个模块：数据开发、数据仓库、数据分析、数据挖掘、数据产品和数据可视化。 也就是说，居士我们希望凡是和数据相关的方方面面都包括进来。 当然前期是以数据开发、数据仓库和数据挖掘为主。后续随着学习范围的扩充，逐渐扩大范围。 0xFF 总结 DataTalk 从本质上来讲是讲大家平时讨论的问题收集和整理出来。 为什么要这样做？
3.1K40发布于 2018-05-25 - 来自专栏about云
Logstash收集多数据源数据神器
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地进行存储。 ? logstash 数据以event的方式流转 原始数据进入logstash后在内部流转并不是以原始数据的形式流转，在input处被转换为event，在output event处被转换为目标格式的数据。 Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响： 利用 Grok 从非结构化数据中派生出结构 从 IP 地址破译出地理坐标 将 PII 数据匿名化，完全排除敏感字段 整体处理不受数据源 Logstash 提供众多输出选择，可以将数据发送到指定的地方，并且能够灵活地解锁众多下游用例。 ? 4.logstash架构 logstash6.x架构 ? batcher的作用是批量从queue中取数据（可配置）。 logstash数据流历程 首先有一个输入数据，例如是一个web.log文件，其中每一行都是一条数据。
2.1K20发布于 2019-12-26 - 来自专栏落叶飞翔的蜗牛
G1垃圾收集器（6）之Young GC
G1的垃圾收集模式 G1中有两种回收模式： 1.完全年轻代GC（fully-young collection），也称年轻代垃圾回收（Young GC）2.部分年轻代GC（partially-young collection）又称混合垃圾回收（Mixed GC） 年轻代垃圾回收（完全年轻代GC） 完全年轻代GC是只选择年轻代区域（Eden/Survivor）进入回收集合（Collection Set，简称 选择收集集合（Choose CSet），G1会在遵循用户设置的GC暂停时间上限的基础上，选择一个最大年轻带区域数，将这个数量的所有年轻代区域作为收集集合。 如下图所示，此时A/B/C三个年轻代区域都已经作为收集集合，区域A中的A对象和区域B中的E对象，被ROOTS直接引用（图上为了简单，将RS直接引用到对象，实际上RS引用的是对象所在的CardPage） RS）的步骤，因为RSet是先写日志，再通过一个Refine线程进行处理日志来维护RSet数据的，这里的更新RSet就是为了保证RSet日志被处理完成，RSet数据完整才可以进行扫描 如下图所示，老年代区域
6K41发布于 2021-05-17 - 来自专栏从ORACLE起航，领略精彩的IT技术。
主机、数据库日志收集
Current Version：V1.0.0 Latest Version：主机、数据库日志收集 Create Time：2016-04-08 Update Time：2016-04-08 15:24 一、主机系统日志收集： Linux AIX HP-UX Solaris Windows 二、数据库告警日志收集： Oracle 一、主机系统日志收集： 创建主机日志收集目录: --Unix/Linux 条日志输出到linux1000.log文件中： # tail -1000 /var/log/messages > /var/collect/OS/linux1000.log AIX AIX系统日志文件收集 二、数据库告警日志收集： Oracle 告警日志检查： 10g告警日志默认所在路径:ORACLE_BASE/admin/ORACLE_SID/bdump/alert*.log 11g告警日志默认所在路径
2.2K30编辑于 2022-05-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号