- 综合排序
- 最热优先
- 最新优先
- 来自专栏生信修炼手册
采用igraph包分析网络数据
对于网络的可视化和数据挖掘，有很多图形界面的软件可供选择，比如cytoscape, gephi 等等，这些软件使用方便，操作简单，功能的强大，但是同时也有着一个缺点，就是无法自动处理，只能通过人工点击鼠标来操作 ，对于大批量数据的分析而言，依靠人工费事费力。 为了能够自动化编程处理，有很多的程序被开发出来，专门用于网络数据的可视化和分析，igraph就是其中的佼佼者。 igraph是一个开源项目，旨在提供一个简单易用，功能强大的网络数据处理框架，在R，Python, C语言中都有具体实现，网址如下 http://igraph.org/ 本篇以R语言为例，展示其用法。 通过igraph包，可以自动化的编程处理网络数据，节省精力，避免重复劳动。缺点就是该包内置的聚类算法有限，mcode 和 mcl 这两种算法就没有。 ·end· —如果喜欢，快分享给你的朋友们吧—
4.7K30发布于 2020-05-08 - 来自专栏R语言数据分析指南
ggraph网络数据可视化分析
欢迎关注R语言数据分析指南 ❝本节来对以往的网络图进行改动，通过计算顶点连接边的个数来定义点的大小，数据为随意构建无实际意义仅做绘图展示，整个过程仅供参考。 数据代码稍后将会整合上传到会员交流群，购买过小编绘图文档的朋友可在所加的交流群内获取下载，有需要的朋友可关注文末介绍购买小编的R绘图文档。
32110编辑于 2024-07-25 - 来自专栏FreeBuf
Brim：网络数据包分析神器
相信各位做流量分析和应急响应的朋友经常需要使用WireShark进行网络流量包分析，比如NTA的全流量包，但不得不说，一旦数据包过大，日志条目过多，加载就变得异常缓慢，分析起来也是特别麻烦，WireShark 我们以实战者的角度来使用Brim进行数据分析. 那么我们先来看看如何在Wireshark里面查找DHCP流量中的主机信息 任何在网络中产生流量的主机都应该有三个标识符：MAC地址、IP地址和主机名。 如果你捕获到了网络流量的完整数据包，那么在内部 IP 地址上检索的 pcap 包应该会显示相关的 MAC 地址和主机名。 我们如何使用Wireshark找到这样的主机信息呢？ DHCP流量可以帮助识别连接到网络中的几乎所有类型的计算机的主机。NBNS流量则主要由运行Microsoft Windows的计算机或运行MacOS的苹果主机产生。我们先试用DHCP过滤流量包数据。 简而言之，Brim这个网络数据包分析神器有如下好处： 快速加载并解析大PCAP包 拥有强大的搜索语言 拥有非常快速的响应 具有历史和可视化的直观UI 可随时跳转到WireShark查看数据包 项目地址
2.6K40发布于 2020-07-28 - 来自专栏机器学习AI算法工程
【实战帖】使用Python分析社交网络数据
目录 数据抓取 一、直接抓取数据 二、模拟浏览器抓取数据 三、基于API接口抓取数据 数据预处理 可视化 数据分析 扩散深度 扩散速度 空间分布 节点属性 网络属性 传播属性 在线社交网站为人们提供了一个构建社会关系网络和互动的平台 然而在线社交网络数据的获取方法有别于线下社会数据的获取（如普查、社会调查、实验、内容分析等）、数据的规模往往非常大（称之为“大数据”并不为过）、跨越的时间范围也相对较长（与社会调查中的横截面数据相比）， 例如传统的社会调查的数据往往样本量有限，而在线社交网络中的样本量可以达到千万甚至更多。因而，研究者迫切得需要寻找新的数据获取、预处理和分析的方法。 数据抓取 目前社交网站的公开数据很多，为研究者检验自己的理论模型提供了很多便利。例如斯坦福的社会网络分析项目就分享了很多相关的数据集。 我们可以认为虽然人民日报官方微博承载在社交网络当中，但是其传播方式依然保持了传播媒体信息的一步到达受众的特点（或许这种特征比线下更强）。 数据分析 对于网络数据的分析，首先是一些网络的统计指标。
8.7K111发布于 2018-03-13 - 来自专栏PPV课数据科学社区
网络大数据的统计和分析利用
网络大数据是指“人、机、物”三元世界在网络空间中彼此交互与融合所产生并在互联网上可获得的大数据。 将数据应用到生活生产中，可以有效地帮助人们或企业对信息作出比较准确的判断，以便采取适当行动。 数据是结构化的，包括原始数据中的关系数据库，其数据就是半结构化的，譬如我们熟知的文本、图形、图像数据，同时也包括了网络的不同构型的数据。 尽管当前大数据的发展趋势良好，但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。 网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。 随着大数据时代的到来，网络数据的增多，使得个人数据面临着重大的风险和威胁，因此，网络需要制定更多合理的规定以保证网络环境的安全。
79550发布于 2018-04-18 - 来自专栏云计算D1net
统计和分析网络大数据的方法
网络大数据是指“人、机、物”三元世界在网络空间中彼此交互与融合所产生并在互联网上可获得的大数据。 将数据应用到生活生产中，可以有效地帮助人们或企业对信息作出比较准确的判断，以便采取适当行动。 数据是结构化的，包括原始数据中的关系数据库，其数据就是半结构化的，譬如我们熟知的文本、图形、图像数据，同时也包括了网络的不同构型的数据。 尽管当前大数据的发展趋势良好，但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。 网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。 随着大数据时代的到来，网络数据的增多，使得个人数据面临着重大的风险和威胁，因此，网络需要制定更多合理的规定以保证网络环境的安全。
1.5K70发布于 2018-03-15 - 来自专栏全栈程序员必看
ucinet网络分析实例(网络分析app)
ucinet介绍 UCINET为菜单驱动的Windows程序，可能是最知名和最经常被使用的处理社会网络数据和其他相似性数据的综合性分析程序。 UCINET包含大量包括探测凝聚子群（cliques, clans, plexes）和区域（components, cores）、中心性分析（centrality）、个人网络分析和结构洞分析在内的网络分析程序 2.可视化数据分析 网络密度指的是网络中各个成员之间联系的紧密度，可以通过网络中实际存在的关系数与理论上可能存在的关系数相比得到，成员之间的联系越多，该网络的密度越大。 3、社会网络分析技术 首先如果数据不是非结构化数据，并且它的缺失值与异常值都在合理范围内（关于上述两者的概念，我在另一篇博客有提：kaggle（一）：随机森林与泰坦尼克），那么我们可以做一个相关性分析， ， 社会网络分析技术主要有网络密度、中心性分析、凝聚子群分析、核心-边缘分析等，这里对涉及到的前三种方法作简单介绍。
4.7K20编辑于 2022-08-01 网络安全实战-wireshark数据包分析
任务实施: Wireshark数据包分析 1.某公司网络系统存在异常，猜测可能有黑客对公司的服务器实施了一系列的扫描和攻击，使用Wireshark抓包分析软件查看并分析Kali Linux的/root目录下 IP地址为172.16.1.110 Flag：172.16.1.110 2.继续分析数据包文件dump.pcapng分析出黑客通过工具对目标服务器的哪些服务进行了密码暴力枚举渗透测试，将服务对应的端口依照从小到大的顺序依次排列作为 ip.src == 172.16.1.110，由于扫描端口过多不再一一截图，通过过滤IP地址后，可以发现黑客扫描了21/22/23/80/3306端口 Flag：21/22/23/3306 3.继续分析数据包文件 == 3306进行筛选 通过追踪其中一个登录的数据包发现了数据库的版本信息version=5.7.26 Flag：5.7.26 5.继续分析数据包文件dump.pcapng，黑客通过数据库写入了木马, ，并开始查询数据库信息： 发现黑客通过into outfile命令写入了一句话木马horse.php Flag：horse 6.继续分析数据包文件dump.pcapng，黑客通过数据库写入了木马,将黑客写入的一句话木马的连接密码作为
61110编辑于 2025-10-23- 来自专栏爬虫资料
Haskell网络编程：从数据采集到图片分析
图片概述爬虫技术在当今信息时代中发挥着关键作用，用于从互联网上获取数据并进行分析。本文将介绍如何使用Haskell进行网络编程，从数据采集到图片分析，为你提供一个清晰的指南。 我们将探讨如何使用亿牛云爬虫代理来确保高效、可靠的数据获取，并使用Haskell的强大功能来分析和处理数据。本文还将介绍如何使用Haskell的HTML解析库和图片处理库来提取和分析图片链接。 Haskell网络编程基础在开始之前，确保你已经安装了Haskell编程环境。我们将使用Haskell的网络库来进行网络请求和数据采集。 图片分析一旦你成功获取了数据，接下来是对数据的分析和处理。 结语本文介绍了如何使用Haskell进行网络编程，从数据采集到图片分析。我们讨论了如何使用亿牛云爬虫代理来确保数据采集的稳定性，并使用Haskell的强大功能来分析和处理数据。
82830编辑于 2023-10-10 - 来自专栏数据森麟
用数据分析网络暴力有多可怕
最后搞得两边都多多少少受到网络暴力的影响。 直至今日，这条微博的评论区还在更新着。 不得不说微博的黑粉，强行带节奏，真的很可怕。 还有比如自己一直关注的英雄联盟。 本次通过获取潘长江老师那条微博的评论用户信息，来分析一波。 一共是获取了3天的评论，共14万条。 / 01 / 前期工作 微博评论信息获取就不细说，之前也讲过了。 另外本次的数据存储采用MySQL数据库。 创建数据库。 / 03 / 数据清洗 清洗代码如下。 第二张图是因为之前看到「Alfred数据室」对于蔡徐坤粉丝群体的分析。 提到了很多蔡徐坤的粉丝喜欢用带有「坤、蔡、葵、kun」的昵称。 所以将昵称包含这些字的用户提取出来。
3.8K20发布于 2019-09-28 - 来自专栏机器学习AI算法工程
使用Python爬取社交网络数据分析
数据抓取 一、直接抓取数据 二、模拟浏览器抓取数据 三、基于API接口抓取数据 数据预处理 可视化 数据分析 扩散深度 扩散速度 空间分布 节点属性 网络属性 传播属性 结语 在线社交网站为人们提供了一个构建社会关系网络和互动的平台 然而在线社交网络数据的获取方法有别于线下社会数据的获取（如普查、社会调查、实验、内容分析等）、数据的规模往往非常大（称之为“大数据”并不为过）、跨越的时间范围也相对较长（与社会调查中的横截面数据相比）， 例如传统的社会调查的数据往往样本量有限，而在线社交网络中的样本量可以达到千万甚至更多。因而，研究者迫切得需要寻找新的数据获取、预处理和分析的方法。 例如斯坦福的社会网络分析项目就分享了很多相关的数据集。 我们可以认为虽然人民日报官方微博承载在社交网络当中，但是其传播方式依然保持了传播媒体信息的一步到达受众的特点（或许这种特征比线下更强）。 数据分析 对于网络数据的分析，首先是一些网络的统计指标。
6K102发布于 2018-03-14 - 来自专栏爬虫资料
Jupyter：数据分析和网络爬虫开发利器
图片Jupyter是一种流行的数据分析和网络爬虫开发工具。它具有许多功能，使得在各种语言（如Python、R和Julia）中编写、测试和调试代码变得简单。 除了数据分析能力，Jupyter在网络爬虫开发方面表现出色。网络爬虫是用于从网站中提取数据的自动化程序。Jupyter为多种编程语言的开发和测试网络爬虫提供了一个便捷的环境。 总的来说，Jupyter的多功能性、交互式环境和对多种编程语言的支持使其成为数据分析和网络爬虫开发的不可或缺的工具。 它能够在Web浏览器中无缝集成代码、数据和可视化，结合代理IP使用等功能，赋予用户高效分析数据、创建引人注目的报告和从网络中收集有价值信息的能力。 无论是用于探索性数据分析还是构建复杂的网络爬虫，Jupyter都是该领域专业人士的首选工具。今年的618已经开始，PS5的价格创下新低，哪家电商的价格最低呢？
75020编辑于 2023-06-19 - 来自专栏华章科技
大数据时代的网络分析，如何全盘挖掘大数据？
网络医学 (network medicine) 将网络分析和数据整合结合起来，挖掘补充数据中的财富，并揭示出貌似无关疾病之间的普遍分子机制 [8-11]。 对于这些尚处初期的领域来说，分析和整合网络数据的方法将是基础，只有全盘挖掘所有可得基因、分子和临床数据 ，才有可能全面理解相关情况[11]。 ? 不要孤立分析单个数据来源，例如基因序列比对（ aligning genetic sequences ）（它已经革新了我们对生物学的理解）[14]，在单个框架中比对所有类型的数据——「数据比对（the data 同样，我们已经分别研究过了世界经济系统，包括贸易网络、金融交易、投资等[3,5] 。但是，对财富起源、危机和经济复苏的理解只能来自对比和整体分析所有层面的网络化经济和地缘政治数据。 同样，气候测量的结果也是通过不同网络类型编码跨地理区域的各种气候元素获得（例如：风速、气压和温度）之间的关系 [4]，而且，全盘的数据对齐分析或许有助于解释这种复杂动态系统，并且更好预测人为改变带来的影响
77260发布于 2018-08-15 - 来自专栏玉树芝兰
如何用 Python 和 API 收集与分析网络数据？
本文以一款阿里云市场历史天气查询产品为例，为你逐步介绍如何用 Python 调用 API 收集、分析与可视化数据。希望你举一反三，轻松应对今后的 API 数据收集与分析任务。 雷同 上周的研究生课，学生分组展示实践环节第二次作业，主题是利用 API 获取、分析与可视化数据。 大家做的内容，确实五花八门。 如果可以，他们就可以调用熟悉的 Excel 命令，来进行数据筛选、分析与绘图了。 他们还会想，假如 Python 本身，能一站式完成数据读取、整理、分析和可视化全流程，那自然更好。 写到这里，你基本上搞懂了，如何读取某个城市、某个月份的数据，并且整理到 Pandas 数据框中。 但是，我们要做分析，显然不能局限在单一月份与单一城市。 讨论 你之前尝试过用 Python 和 API 获取数据吗？你使用了哪些更好用的软件包进行数据获取、处理、分析与可视化呢？你还使用过哪些其他的数据产品市场？
4K20发布于 2018-08-22 - 来自专栏生信菜鸟团
GEO数据分析后续——蛋白互作网络PPI
生信技能树学习笔记 制作string输入数据 打开string网站 Cytoscape属性表格 导入网络文件 按照logFC设置填充颜色 Cytohubba找hub基因 MCODE找子网络
23310编辑于 2024-07-10 - 来自专栏陶士涵的菜地
网络层-抓包分析IP数据包首部
ip数据包的结构:首部+数据部分 1.版本(v4或者v6)+首部长度(固定的20字节,所以就没有)+ 区分服务优先级(我的例子是 assured forwarding 31 0x1a 26,保证转发) 2.总长度+是否分片+分片的标志+片偏移 (我的例子中不需要分片) 网络层数据包最大65535字节,数据链路层数据最大 1500字节,所以这里可能会有个数据包分片的行为 使用ping命令可以发送一个大的数据包 ,ping -t -l 65500 ip地址 , 这样抓的数据可以看到分片现象 ?
94220发布于 2019-09-10 - 来自专栏数据猿
大数据上市企业财报分析：凯迪网络
图表 1：凯迪网络营业收入规模及增长率分析 ? 数据猿制图 图表 2：凯迪网络营业收入规模及增长率分析 ? 图表 3：凯迪网络净利润规模分析 ? 数据猿制图 图表 4：凯迪网络净利润规模分析 ? 图表 5：凯迪网络盈利能力分析 ? 数据猿制图 图表 6：凯迪网络盈利能力分析 ? 图表 7：凯迪网络管理成本率与销售成本率分析 ? 数据猿制图 图表 8：凯迪网络管理成本率与销售成本率分析 ? 图表 9：凯迪网络前五客户占比分析 ? 数据猿制图 图表 10：凯迪网络前五客户业务规模占比分析 ?
69860发布于 2018-04-20 - 来自专栏Python进阶之路
Python数据分析 利用NetworkX绘制网络图
NetworkX 概述 NetworkX 是一个用Python语言开发的图论与复杂网络建模工具，内置了常用的图与复杂网络分析算法，可以方便的进行复杂网络数据分析、仿真建模等工作。 networkx支持创建简单无向图、有向图和多重图；内置许多标准的图论算法，节点可为任意数据；支持任意的边值维度，功能丰富。主要用于创造、操作复杂网络，以及学习复杂网络的结构、动力学及其功能。 用于分析网络结构，建立网络模型，设计新的网络算法，绘制网络等等。 2. 利用NetworkX实现关联类分析 利用 soccer.csv 中的数据，使用 Python 的 NetworkX 包按要求进行绘图。 在提取出的数据的基础上，通过判断球员是否属于同一俱乐部，绘出随机分布网络图、Fruchterman-Reingold 算法排列节点网络图与同心圆分布网络图。
8.6K42发布于 2020-09-17 - 来自专栏后端云
KubeVirt网络源码分析
virt-launcher virtwrap 准备虚拟机的网络 virt-launcher pod 和 虚拟机一一对应，在pod中运行一台虚拟机， virt-launcher pod负责提供运行虚拟机必要的组件 本篇文章是介绍网络相关的组件。下图是KubeVirt的网络。图中的Kubetnets的CNI网络插件部分不是本篇涉及内容。 三个包含关系的实线框，从外到里分别是：Kubernetes工作节点、工作节点上的POD、POD里运行的VM虚拟机 三个并列的虚线框，从下到上分别是：Kubernetes网络（Kubernetes CNI 负责配置），libvirt网络，虚拟机网络 本篇不涉及Kubernetes网络，只涉及libvirt网络，虚拟机网络 \kubevirt\pkg\virt-launcher\virtwrap\manager.go %v", err) panic(err) } }language-go复制代码 上面的源码是KubeVirt 0.4.1版本的，以后再对最新的代码的 KubeVirt virt-lancher 网络部分做一次分析
2K11编辑于 2022-06-09 - 来自专栏灯塔大数据
容器网络介绍分析
一般而言，容器网络可归为两大类：单主机网络（Single-Host）和多主机网络（Multi-Host）。 单主机和多主机场景下都有多种网络模式，本篇将先对单主机容器网络模式进行介绍，之后对多主机容器网络模式进行介绍，最后进行总结。 02 单主机容器网络 None Mode 这个模式下的容器只有一个loopback接口，不能连接到本机或其他网络上的容器；但它具有良好的隔离性和安全性，适合不需要网络连接的服务，如：离线数据计算、批处理 Overlay Network Overlay网络是指在不改变现有网络基础设施的前提下，通过某种约定通信协议，把二层报文封装在IP报文之上形成新的数据格式，以此建立节点之间定制化的连接。 此外，还有很多因素影响网络性能，如：网络启动时间、CPU开销、网络包的大小等，用户在选择网络模式时应综合这些因素进行选择。 文章作者 | 中国电信股份有限公司研究院 任宏丹
1.6K20发布于 2020-09-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号