- 综合排序
- 最热优先
- 最新优先
- 来自专栏分布式系统进阶
Kafka源码分析-网络层-3
这篇将是网络层源码分析的最后一篇 北京的天,无力吐槽啊~ 快年底了, 每个团队都在旁边录制新年寄语,各种口号~ ---- 对nio的封装:Selector类 所在文件: clients/src/main SelectionKey key = socketChannel.register(nioSelector, SelectionKey.OP_READ); 同时创建KafkaChannel, 负责实际的数据接收和发送 channelBuilder.buildChannel(id, key, maxReceiveSize); key.attach(channel); this.channels.put(id, channel); (3) (看到ssl就头大啊,这部分先忽略~~~); Kafka协议的包结构: 前4个字节固定, 值是后面的实际数据的长度; NetworkReceive: 接收时先接收4个字节, 获取到长度,然后再接收实际的数据 ; NetworkSend: 发送时实际数据前先加上4个字节的数据长度再发送; 上图: ?
63820发布于 2018-09-05 - 来自专栏后端云
KubeVirt网络源码分析（3）- 虚拟机热迁移网络
热迁移的流程非常复杂，本篇仅设计热迁移的数据走的网络相关部分。操作 - 热迁移的网络虚拟机热迁移过程中很占用带宽，对网络稳定性要求也较高。 为和可以原有的Kubernetes网络互不影响，生产环境最好有一套独立的网络给虚拟机热迁移使用。 extraparameters]复制代码KubeVirt 源码分析 - 热迁移的网络virt-handler 会判断当前的virt-hander所在node是热迁移的源节点还是目的节点，若是源节点，就开启源节点的
1.8K11编辑于 2022-07-21 - 来自专栏向治洪
Android 网络请求OkHttp3流程分析
基本概念 首先从使用出发，其次再结合源码来分析OkHttp3的内部实现的，建议大家下载 OkHttp 源码跟着本文，过一遍源码。首先来看一下OkHttp3的请求代码。 Call是一次HTTP请求的Task，它会执行网络请求以获得响应。OkHttp中的网络请求执行Call既可以同步进行，也可以异步进行。 Request 每一个HTTP请求包含一个URL、一个方法（GET或POST或其他）、一些HTTP头，请求还可能包含一个特定内容类型的数据类的主体部分。 if (url.regionMatches(true, 0, "ws:", 0, 3)) { url = "http:" + url.substring(3); } else ，然后提交给网络，最后从网络响应中提取出用户响应。
1.5K30编辑于 2022-11-30 - 来自专栏数据科学（冷冻工厂）
Python网络数据抓取（3）：Requests
引言 在这一部分，我们将探讨Python的requests库，并且利用这个库来进行网页数据抓取。那么，我们为何需要这个库，以及怎样利用它呢？ 示例 以亚马逊网站为例，我们将进行数据抓取。 mkdir scraper pip install requests 然后在这个文件夹中创建一个文件 scraper.py 然后开始和我一起编码。 现在，我们可以使用它来创建网络抓取工具。 它看起来像这样: 正如您所看到的，这些数据根本不可读。我们需要从这些垃圾中解析出数据。为此，我们将使用 BeautifulSoup。
38610编辑于 2024-04-28 - 来自专栏生信修炼手册
采用igraph包分析网络数据
对于网络的可视化和数据挖掘，有很多图形界面的软件可供选择，比如cytoscape, gephi 等等，这些软件使用方便，操作简单，功能的强大，但是同时也有着一个缺点，就是无法自动处理，只能通过人工点击鼠标来操作 ，对于大批量数据的分析而言，依靠人工费事费力。 为了能够自动化编程处理，有很多的程序被开发出来，专门用于网络数据的可视化和分析，igraph就是其中的佼佼者。 igraph是一个开源项目，旨在提供一个简单易用，功能强大的网络数据处理框架，在R，Python, C语言中都有具体实现，网址如下 http://igraph.org/ 本篇以R语言为例，展示其用法。 统计网络的拓扑属性 通过``统计节点的度，用法如下 > degree(g, mode="all") [1] 3 4 3 2 2 1 1 通过edge_dentisy统计密度，用法如下 > edge_density
4.7K30发布于 2020-05-08 - 来自专栏python数据分析实践
Python数据分析浅谈(3)
在这个阶段，我们需要注意几个方面： （1）尽量选择一个自己比较擅长/感兴趣的学科领域 （2）选择该学科领域的某一个或几个具体的研究方向 （3）了解研究方向中常用的研究方法、公开/可获取的数据 自己比较擅长 但是大部分情况下，我们在搜索引擎中可能找不到需要的数据，不可否认的是，搜索结果中经常会给我们带来数据存在的一些线索，要善于运用浏览器。 （3）数据打包网站或者数据采集平台获取。 日常数据分析中，我们要积累一些常见的数据清洗方法，例如剔除异常值，可以直接使用3倍标准差判别；重复值和空值可以通过Excel很方便地实现。熟悉这些操作可以大大简化工作量，节约我们的时间。 Step3：描述分析 3.1 统计分析 统计分析是数据分析中最广的分析方法。统计分析就是对数据进行文字描述和指标统计。 一份完整的数据报告，至少需要包含以下几部分内容： （1）分析目的 （2）分析背景和意义 （3）数据来源和方法 （4）结果与分析 （5）结论和建议 事实上数据报告就像是一篇实验报告或作文，把做实验的目的
40110编辑于 2023-02-23 - 来自专栏zoujunjie202
3-UNIX网络编程-读写数据
公众号中关于Unix网络编程的1、2章节对基础知识做了铺垫，介绍了建立网络通信的API。 然而客户和服务器之间建立通信管道（以下简称Channel）之后，如何管理Channel以及Channel中双向流动的数据才是开发者关注的重点，这构成了所有网络应用（如http服务器，ftp服务器等）的基础 上面提到的函数实际上是处理应用层数据的，而传输层、网络层、数据链路层又如何处理数据的呢？ 3、套接字发送缓冲区：由SO_SNDBUF指定，默认情况下在8192至61440之间，推荐的设置值是 (4+2*n)*MSS，就是MSS的4倍以上，且为偶数倍。 在SYN分节上有体现，是经过双方协商之后的值，商定的值利于减少网络传输时数据分片。通常 MSS ≤ MTU – 40 (IPv4) 或 MTU – 60(IPv6) 。
71510编辑于 2022-07-27 - 来自专栏R语言数据分析指南
ggraph网络数据可视化分析
欢迎关注R语言数据分析指南 ❝本节来对以往的网络图进行改动，通过计算顶点连接边的个数来定义点的大小，数据为随意构建无实际意义仅做绘图展示，整个过程仅供参考。 数据代码稍后将会整合上传到会员交流群，购买过小编绘图文档的朋友可在所加的交流群内获取下载，有需要的朋友可关注文末介绍购买小编的R绘图文档。
32510编辑于 2024-07-25 - 来自专栏FreeBuf
Brim：网络数据包分析神器
相信各位做流量分析和应急响应的朋友经常需要使用WireShark进行网络流量包分析，比如NTA的全流量包，但不得不说，一旦数据包过大，日志条目过多，加载就变得异常缓慢，分析起来也是特别麻烦，WireShark 我们以实战者的角度来使用Brim进行数据分析. 那么我们先来看看如何在Wireshark里面查找DHCP流量中的主机信息 任何在网络中产生流量的主机都应该有三个标识符：MAC地址、IP地址和主机名。 如果你捕获到了网络流量的完整数据包，那么在内部 IP 地址上检索的 pcap 包应该会显示相关的 MAC 地址和主机名。 我们如何使用Wireshark找到这样的主机信息呢？ DHCP流量可以帮助识别连接到网络中的几乎所有类型的计算机的主机。NBNS流量则主要由运行Microsoft Windows的计算机或运行MacOS的苹果主机产生。我们先试用DHCP过滤流量包数据。 简而言之，Brim这个网络数据包分析神器有如下好处： 快速加载并解析大PCAP包 拥有强大的搜索语言 拥有非常快速的响应 具有历史和可视化的直观UI 可随时跳转到WireShark查看数据包 项目地址
2.6K40发布于 2020-07-28 - 来自专栏全栈工程师修炼之路
Python3爬虫数据清理分析
[TOC] 0x00 快速入门 0x01 分析博客提取 描述：闲来无事写了一个自己博客的标签云，对于学习爬虫与数据清理还是挺有用的; 生成词云我们需要用到几个库： pip install numoy titlestring = "" #进行标题拼接 for title in titlelist: titlestring += title + " " #对数据进行分词
60520发布于 2020-10-23 - 来自专栏数据科学（冷冻工厂）
ChIP-seq 分析：数据比对（3）
生成的 BAM 文件将包含用于进一步分析的对齐序列读取。 2. 参考基因组生成 首先，我们需要以 FASTA 格式检索感兴趣的基因组的序列信息。 writeXStringSet(mainChrSeqSet, "BSgenome.Mmusculus.UCSC.mm10.mainChrs.fa") 3. Rsubread 我们可以使用 Rsubread 包将 FASTQ 格式的原始序列数据与 mm10 基因组序列的新 FASTA 文件进行比对。 ", bt2Index = file.path("BSgenome.Mmusculus.UCSC.mm10.mainChrs")) 然后我们可以使用 bowtie2() 函数对齐我们的 FASTQ 数据 生成的排序和索引 BAM 文件现在可以用于外部程序，例如 IGV，也可以用于 R 中的进一步下游分析。
67910编辑于 2023-02-27 - 来自专栏数据科学（冷冻工厂）
ChIP-seq 分析：数据比对（3）
生成的 BAM 文件将包含用于进一步分析的对齐序列读取。图片2. 参考基因组生成首先，我们需要以 FASTA 格式检索感兴趣的基因组的序列信息。我们可以使用 BSgenome 库来检索完整的序列信息。 writeXStringSet(mainChrSeqSet, "BSgenome.Mmusculus.UCSC.mm10.mainChrs.fa")3. Rsubread我们可以使用 Rsubread 包将 FASTQ 格式的原始序列数据与 mm10 基因组序列的新 FASTA 文件进行比对。 mainChrs.fa", bt2Index = file.path("BSgenome.Mmusculus.UCSC.mm10.mainChrs"))然后我们可以使用 bowtie2() 函数对齐我们的 FASTQ 数据 生成的排序和索引 BAM 文件现在可以用于外部程序，例如 IGV，也可以用于 R 中的进一步下游分析。
83900编辑于 2023-02-13 - 来自专栏全栈工程师修炼之路
Python3爬虫数据清理分析
[TOC] 0x00 快速入门 0x01 分析博客提取 描述：闲来无事写了一个自己博客的标签云，对于学习爬虫与数据清理还是挺有用的; 生成词云我们需要用到几个库： pip install numoy matplotlib titlestring = "" #进行标题拼接 for title in titlelist: titlestring += title + " " #对数据进行分词
42410编辑于 2022-09-28 - 来自专栏人工智能头条
3 个经典的卷积神经网络案例分析
本文将以 Alex-Net、VGG-Nets、Network-In-Network 为例，分析几类经典的卷积神经网络案例。 在此请读者注意，此处的分析比较并不是不同网络模型精度的“较量”，而是希望读者体会卷积神经网络自始至今的发展脉络和趋势。 这样会更有利于对卷积神经网络的理解，进而举一反三，提高解决真实问题的能力。 由于两支网络完全一致， 在此仅对其中一支进行分析。下表列出了 Alex-Net 网络的架构及具体参数。 同时，网络卷积层的通道数 (channel) 也从 3 → 64 → 128 → 256 → 512 逐渐增加。 VGG-16 网络架构及参数 ? ? ? ? 图3 NIN 网络模型整体结构 此示例中的 NIN 堆叠了三个多层感知机卷积层模块和一个全局汇合操作层作为分类层 ---- 作者：魏秀参，南京大学 LAMDA 研究所博士，主要研究领域为计算机视觉和机器学习
1.4K10发布于 2018-12-26 - 来自专栏智能算法
3 个经典的卷积神经网络案例分析
本文将以 Alex-Net、VGG-Nets、Network-In-Network 为例，分析几类经典的卷积神经网络案例。 在此请读者注意，此处的分析比较并不是不同网络模型精度的“较量”，而是希望读者体会卷积神经网络自始至今的发展脉络和趋势。 这样会更有利于对卷积神经网络的理解，进而举一反三，提高解决真实问题的能力。 由于两支网络完全一致，在此仅对其中一支进行分析。下表列出了 Alex-Net 网络的架构及具体参数。 Alex-Net 首次将卷积神经网络应用于计算机视觉领域的海量图像数据集 ImageNet(该数据集共计 1000 类图像，图像总数约 128 多万张)，揭示了卷积神经网络拥有强大的学习能力和表示能力。 同时，网络卷积层的通道数 (channel) 也从 3 → 64 → 128 → 256 → 512 逐渐增加。 VGG-16 网络架构及参数 ? ? ? ?
1.6K20发布于 2019-07-12 - 来自专栏PPV课数据科学社区
网络大数据的统计和分析利用
数据可视化技术有3个鲜明的特点：第一，与用户的交互性强。用户不再是信息传播中的受者，还可以方便地以交互的方式管理和开发数据。第二，数据显示的多维性。 3.预测性分析能力 预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。 尽管当前大数据的发展趋势良好，但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。 网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。 随着大数据时代的到来，网络数据的增多，使得个人数据面临着重大的风险和威胁，因此，网络需要制定更多合理的规定以保证网络环境的安全。
79750发布于 2018-04-18 - 来自专栏机器学习AI算法工程
【实战帖】使用Python分析社交网络数据
目录 数据抓取 一、直接抓取数据 二、模拟浏览器抓取数据 三、基于API接口抓取数据 数据预处理 可视化 数据分析 扩散深度 扩散速度 空间分布 节点属性 网络属性 传播属性 在线社交网站为人们提供了一个构建社会关系网络和互动的平台 然而在线社交网络数据的获取方法有别于线下社会数据的获取（如普查、社会调查、实验、内容分析等）、数据的规模往往非常大（称之为“大数据”并不为过）、跨越的时间范围也相对较长（与社会调查中的横截面数据相比）， 例如传统的社会调查的数据往往样本量有限，而在线社交网络中的样本量可以达到千万甚至更多。因而，研究者迫切得需要寻找新的数据获取、预处理和分析的方法。 数据抓取 目前社交网站的公开数据很多，为研究者检验自己的理论模型提供了很多便利。例如斯坦福的社会网络分析项目就分享了很多相关的数据集。 我们可以认为虽然人民日报官方微博承载在社交网络当中，但是其传播方式依然保持了传播媒体信息的一步到达受众的特点（或许这种特征比线下更强）。 数据分析 对于网络数据的分析，首先是一些网络的统计指标。
8.7K111发布于 2018-03-13 - 来自专栏云计算D1net
统计和分析网络大数据的方法
数据可视化技术有3个鲜明的特点：第一，与用户的交互性强。用户不再是信息传播中的受者，还可以方便地以交互的方式管理和开发数据。第二，数据显示的多维性。 从技术这个角度来说，数据挖掘就是利用一系列相关算法和技术从大量的数据中提取出为人们所需要的信息和知识，隐藏在数据背后的知识，可以以概念、模式、规律和规则等形式呈现出来。 3.预测性分析能力。 尽管当前大数据的发展趋势良好，但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。 网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。 随着大数据时代的到来，网络数据的增多，使得个人数据面临着重大的风险和威胁，因此，网络需要制定更多合理的规定以保证网络环境的安全。
1.5K70发布于 2018-03-15 - 来自专栏技术翻译
大数据Python：3大数据分析工具
正如它的网站所述，Pandas是一个开源的Python数据分析库。 让我们启动IPython并对我们的示例数据进行一些操作。 单独使用Python非常适合修改数据并做好准备。现在有了Pandas，您也可以在Python中进行数据分析。 数据科学家通常将Python Pandas与IPython一起使用，以交互方式分析大量数据集，并从该数据中获取有意义的商业智能。查看上面的网站了解更多信息。 这是来自Apache Spark项目的大数据分析库。 PySpark为我们提供了许多用于在Python中分析大数据的功能。它带有自己的shell，您可以从命令行运行它。 原文标题《Big Data Python: 3 Big Data Analytics Tools》 作者：Bill Ward 译者：February 不代表云加社区观点，更多详情请查看原文链接
5K20发布于 2018-12-13 - 来自专栏绿盟科技安全情报
2020年3月网络安全态势分析
注：绿盟科技漏洞库包含应用程序漏洞、安全产品漏洞、操作系统漏洞、数据库漏洞、网络设备漏洞等； 02 恶意软件态势综述 2020年3月份数据与2019年度数据中恶意软件各类型分布如下图所示。 3月份各恶意软件类型占比相比去年全年情况有所波动，后门取代挖矿居于首位，占比47.72%；挖矿相较于去年全年的数据比例有大幅下降，蠕虫则略有上升。此外，木马、僵尸肉鸡、勒索相对较少，仅占6%左右。 ，另一方面也需要具备从海量的日志中分析出潜在的攻击行为的能力。 根据2020年1月-2020年3月的DDoS攻击数据进行聚类分析，共发现8个团伙。最大团伙规模17万攻击源，发起攻击事件3.99万。 05 僵尸网络及蜜罐态势综述 在2020年3月份的DDoS僵尸网络活动中，主要攻击来自家族Mirai、Gafgyt、YoYo。
86110发布于 2020-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号