首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏算法channel

    玩转Pandas,让数据处理更easy系列4

    easy系列1 玩转Pandas,让数据处理更easy系列2 玩转Pandas,让数据处理更easy系列3 以上3篇总结了Pandas主要的两个数据结构:Series(一维)和DataFrame( easy系列1; 玩转Pandas,让数据处理更easy系列2) DataFrame可以方便地实现增加和删除行、列 ( 玩转Pandas,让数据处理更easy系列2) 智能地带标签的切片,好玩的索引提取大数据集的子集 (玩转Pandas,让数据处理更easy系列2) 通俗易懂地在DataFrame结构上实现merge和join操作(merge操作见:玩转Pandas,让数据处理更easy系列3) 善于处理missing 'bar': ['A', 'B', 'C', 'A', 'B', 'C'], 'baz': [1, 2, 3, 4, DataFrame实例,如下所示: df = pd.DataFrame({'col1' : ['A', 'A', 'B', np.nan, 'D', 'C'], 'col2' : [2, 1, 9, 7, 7, 4]

    1.4K31发布于 2018-07-25
  • 来自专栏禹都一只猫博客

    Pandas文本数据处理 | 轻松玩转Pandas(4

    # 导入相关库 import numpy as np import pandas as pd 为什么要用str属性 文本数据也就是我们常说的字符串,Pandas 为 Series 提供了 str 属性,通过它可以方便的对每个元素进行操作。 index = pd.Index(data=["Tom", "Bob", "Mary", "James", "Andy", "Alice"], name="name") data = { "age": [18, 30, np.nan, 40, np.nan, 3

    2.1K20发布于 2018-09-19
  • 来自专栏7号代码

    Android网络与数据存储——网络编程数据处理网络请求,解析xml,解析Json)

    手机的优势是携带方便,可以随时打开,而且手机通常总是处于联网状态的,所以网络支持对于手机很重要。而且Java的网络编程完全适用于Android网络编程。 一.网络请求 ---- 1.URL 在真正学习网络请求之前有必要了解一下什么是URL,URL的英文全拼是Uniform Resource Locator,翻译过来为统一资源定位器,大概意思就是URL是指向互联网资源的指针 2.Http网络请求 Android中的Http网络请求有两种方式: HttpURLConnection HttpClient(已不推荐使用) 既然HttpClient已被弃用,那就用HttpURLConnection 到目前为止,还不算请求完成,因为这里用到了网络,要想获取网络上的数据,该应用必须有请求网络的权限,在AndroidManifest.xml中加入网络权限即可。 四.网络状态处理 ---- 网络状态处理:可以判断是否连接网络,还可以区分移动网络流量还是WiFi网络流量 ConnectivityManager NetworkInfo 五.扩展 ---- 下载电影、

    1.8K30发布于 2018-09-28
  • 来自专栏Android开发指南

    4.网络编程

    HTTP网络编程 网络接口文档 用来描述客户端和服务端的数据交互 Http的格式规范 请求部分 请求消息行:定义请求类型,请求的地址,http的版本号 请求消息头:定义请求的消息头 请求消息内容实体:消息的内容实体 : zh-CN,zh;q=0.8 Cookie: BAIDUID=BECE0B98C5D5A8EA4C5A93221901CC58:FG=1; BAIDUPSID=BECE0B98C5D5A8EA4C5A93221901CC58 ; BDUSS=l1MmM3MEVEclRYR1RZc1ZJTnBDb2RBUTY1YktTUFc0a2pBYVlHNkxOZDk4N0JVQVFBQUFBJCQAAAAAAAAAAAEAAABoRLMjd2FuZ2Rha2U4ODgAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAH1miVR9ZolUVm 因此在主线程中调用异步任务时需要设置回调 开发过程中UI控制层访问网络最关心的是什么 UI控制层访问网络的目的是为了获得网络返回数据,UI层最关心返回的数据结果;在java开发中,一切皆有面向对象的思想 如何为UI控制层封装好网络请求 异步 + 回调 + 接口文档规范 http 后台任务 后台任务是处理 及时性不高的任务,不需要耗用太多资源去做网络请求,UI也不是很关心数据返回 通常应用程序只会给到一个线程去处理所有的后台任务

    750100发布于 2018-05-14
  • 来自专栏Android开发指南

    4.网络编程

    HTTP网络编程 网络接口文档 用来描述客户端和服务端的数据交互 Http的格式规范 请求部分 请求消息行:定义请求类型,请求的地址,http的版本号 请求消息头:定义请求的消息头 请求消息内容实体:消息的内容实体 : zh-CN,zh;q=0.8 Cookie: BAIDUID=BECE0B98C5D5A8EA4C5A93221901CC58:FG=1; BAIDUPSID=BECE0B98C5D5A8EA4C5A93221901CC58 ; BDUSS=l1MmM3MEVEclRYR1RZc1ZJTnBDb2RBUTY1YktTUFc0a2pBYVlHNkxOZDk4N0JVQVFBQUFBJCQAAAAAAAAAAAEAAABoRLMjd2FuZ2Rha2U4ODgAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAH1miVR9ZolUVm 因此在主线程中调用异步任务时需要设置回调 开发过程中UI控制层访问网络最关心的是什么 UI控制层访问网络的目的是为了获得网络返回数据,UI层最关心返回的数据结果;在java开发中,一切皆有面向对象的思想 如何为UI控制层封装好网络请求 异步 + 回调 + 接口文档规范 http 后台任务 后台任务是处理 及时性不高的任务,不需要耗用太多资源去做网络请求,UI也不是很关心数据返回 通常应用程序只会给到一个线程去处理所有的后台任务

    47310编辑于 2022-01-12
  • 来自专栏数据科学(冷冻工厂)

    CUT&Tag 数据处理和分析教程(4

    引言 本系列[1] 将开展全新的CUT&Tag 数据处理和分析专栏。想要获取更多教程内容或者生信分析服务可以添加文末的学习交流群或客服QQ:941844452。 fast/gottardo_r/yezheng_working/cuttag/CUTTag_tutorial" sampleList = c("K27me3_rep1", "K27me3_rep2", "K4me3 _rep1", "K4me3_rep2", "IgG_rep1", "IgG_rep2") histList = c("K27me3", "K4me3", "IgG") ## Collect the V1[1] %>% as.character %>% as.numeric, MappedFragNum_hg38 = alignRes$V1[4] [1] %>% as.character %>% as.numeric, MappedFragNum_spikeIn = spikeRes$V1[4]

    46510编辑于 2025-03-31
  • 来自专栏后端开发技术

    DPDK 高性能网络数据处理:原理、配置与实践

    一、背景网络数据包的处理一般是由内核网络协议栈完成。但是,对于要极高吞吐量和低延迟的应用,内核的上下文切换、中断处理以及数据拷贝等开销会成为性能瓶颈。 DPDK的核心思想是把网络数据处理从内核空间转移到用户空间。DPDK接管网卡(NIC),绕过内核,直接从网卡接收原始数据包。应用程序自行实现协议栈的解析和封装逻辑。 一个完整的UDP数据包在网络传输中是分层封装的。从最外层到内层:(1)以太网头:属于数据链路层,共14字节。目的MAC地址:6字节,标识数据包的接收方物理地址。 四、Windowe下配置静态IP表Windows环境下,出于测试或特定网络配置需求,要手动添加静态ARP(AddressResolutionProtocol)条目。需要管理员权限才可以操作。 主要是为了确认0x13对应的具体网络适配器名称netshiishowin示例结果如下:IdxMetMTU状态名称---------------------------------------------

    1.1K11编辑于 2025-09-03
  • 来自专栏changxin7

    4.网络编程 总结

    缺点: 功能单一,没有个性化设置,响应速度相对慢一些. 2.网络通信原理 80年代,固定电话联系,(还没有推广普通话) 1. 两台电话之间一堆物理连接介质连接. 2. 拨号,锁定对方电话的位置. 你必须知道对方的mac地址你才可以以广播的形式发消息.实际上,网络通信中,你只要知道对方的IP与自己的IP即可. 网络层 **IP协议**: 确定局域网(子网)的位置 找到具体软件的位置,上一层的事情 IP协议: ip地址:四段分十进制 192.168.0.12 取值范围 缓冲区存在如果你的网络波动,保证数据的收发稳定,匀速. server = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 基于网络的UDP协议的socket socket.SOCK_DGRAM # 服务端

    1.3K20发布于 2019-08-20
  • 来自专栏初见Linux

    4.网络层-IP

    网络层 1.作用 网络层控制子网的通信,通过路由选择算法为分组通过通信子网选择最适当的传输路径,实现流量控制、拥塞控制与网络互联的功能。 IP是TCP/IP体系中的网络层协议(相当于OSI模型的网络层),同时是整个TCP/IP协议族的核心,也是构成互联网的基础。 (1)版本号:4位. 占4位。 就是IP协议的版本,通信双方的IP协议必须要达到一致,IPv4的版本就是0100。 (2)首部长度(IHL):4位 (5-4-32;20-15-60)占4位,所以首部长度的最大值为1111,15,又因为首部长度代表的单位长度为32个字(也就是4个字节),所以首部长度的最小值就是0101 ,IPv4的首段长度一定是4字节的整数倍,要是不是怎么办呢?

    1.3K20发布于 2020-08-05
  • 来自专栏初见Linux

    4.网络层-ICMP

    属于网络层协议。 控制消息:是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据,但是对于用户数据的传递起着重要的作用。 (前4个位都是一样的) (2)代码:8位 (3)校验和:16位 以上是三个长度固定的字段,共4字节。 (4)参数: 不同的ICMP类型有不同的参数。 (这4个字节取决于ICMP报文的类型) (5)信息(可变长): 长度也取决于类型。 3.ICMP协议分类 可分为 差错报告报文 和 ICMP询问报文。 4.不同的ICMP类型代表不同意义: (重要考点) 重定向、回声、不可达常考。 (1)类型4(源抑制报文) 堵塞时会发类型4,源抑制报文告诉它降速。 时间戳报文和Traceroute命令有关 (4)类型17/18(地址掩码报文) 类型17:请求。类型18:应答。 总结:ICMP 会和 PING 、Traceroute命令结合。

    76840发布于 2020-08-05
  • 来自专栏Ywrby

    4-网络层(上)

    ,但由于网络飞速发展,以及过度分类浪费了大量地址,导致IPv4地址池逐渐枯竭 2011年2月,IPv4总地址池彻底枯竭 解决方案-替换还是修补 如果替换IPv4协议,表示网络中所有的系统均需要升级,所有设备也都需要升级或更换 Working Group 制订IPv6规范和标准 IPv6 Operations 为运营IPv4/IPv6共存的Internet和在已有的IPv4网络或者新的网络安装中部署IPv6提供指导 其它IPv6 IPv6共存策略 短时间内IPv4迁移到IPv6是不可能的 在较长一段时间内都要保证二者共存的状态 问题 加快IPv6网络的成熟与稳定 解决IPv4与IPv6网络之间的相互通信问题 三种基类过渡技术 双协议栈 ,则采用IPv4 隧道技术 通过隧道技术,IPv6分组,被作为无结构,无意义的数据封装在IPv4分组中,被IPv4网络传输 同样的,也存在将IPv4分组看作无结构无意义的纯数据封装在IPv6中的情况 适用于第一阶段与第三阶段 ,也就是IPv4或IPv6是孤岛时的通信 翻译转换技术 从IPv4转换到IPv6,或反过来,不仅发生在网络层,还有传输层和应用层。

    1.3K30编辑于 2022-10-27
  • 来自专栏python基础文章

    网络安全——网络层IPSec安全协议(4

    由图可知,IPSec协议不是一个单独的协议,它给出了应用于IP层上网络数据安全的一整套体系结构。 Exchange,IKE)和用于网络认证及加密的一些算法等。 IPSec规定了如何在对等层之间选择安全协议、确定安全算法和密钥交换,向上提供访问控制、数据源认证、数据加密等网络安全服务。 (4)安全参数索引SPl:专有32位值,用以区分那些目的IP地址和安全协议类型相同,但算法不同的数据包。 (5)序列号:32位整数,它代表一个单调递增计数器的值。 通常,当用于IPv6时,AH出现在IPv6逐跳路由头之后,IPv6目的选项之前;而用于IPv4时,AH跟随主IPv4头。

    1K20编辑于 2023-10-15
  • 计算机网络(4)——网络

    虽然两个输出链路都不能精准送到某个同学手中,但是1号链路比2号链路精确,所以优先输出到1号链路 3.IPv4协议 3.1 IP数据报结构 (1)版本:指明协议的版本,IPv4就是4,IPv6就是 6 (2)首部长度:单位是4字节,表示IP报头的长度范围是20~60字节 (3)8位区分服务:实际上只有4位TOS有效,分别是最小延时,最大吞吐量,最高可靠性,最小成本 (4)总长度:报头+数据部分 4个8位二进制数组成,每个数的范围为0-255,通常以点分十进制的形式表示。 主要用于缓解IPv4地址短缺的问题,同时提供一定的网络安全性。 -> IPv6过渡 隧道(tunneling):IPv6数据报作为IPv4数据报的载荷进行封装,穿越IPv4网络

    39610编辑于 2026-01-13
  • 来自专栏iOS面试

    iOS 面试策略之系统框架-网络、推送与数据处理

    如果说移动时代的前身是什么,我想一个可能的答案就是网络时代。网络的兴起,让所有设备相连成为了可能,也催生了电商、社交、搜索等多个领域的商业巨头。 而移动时代,则是网络时代的必然延伸,它代表着更便捷、更广阔、更深入的连接。 [1240] 在这个背景之下,我们所开发的 App 或多或少会与网络相连。 整个过程的流程图如下: [image] iOS 网络请求 4.请说明并比较以下类:URLSessionTask,URLSessionDataTask,URLSessionUploadTask,URLSessionDownloadTask 通过实现它可以实例化任意网络传输任务,诸如请求、上传、下载任务。 具体的流程图如下: [image] 数据处理 9.iOS 开发中如何实现编码和解码?

    2.4K01发布于 2021-05-15
  • 来自专栏rikka

    计算机网络 4 -网络

    IP 地址 IPv4 地址概述 分配给每一台主机(或路由器)的每一个接口 IPv4 地址的编址方法 分类编址 划分子网 无分类编址 32 比特不方便, 采用点分十进制表示方法 image.png 分类编址的 Ipv4 地址 注意事项 只有 A,B,C 类地址可以分配给网络中的主机 主机号全为 0 的是网络地址, 不能分配给主机或者路由器的各个接口 主机号全为 1 的是广播地址, 不能分配给主机或者路由器的各个接口 地址, 那个作为源地址使用, 表示”在本网络上的本主机”, 封装有 DHCP Discovery 报文的 IP 分组源地址使用 0.0.0.0 划分子网的 IPv4 地址 需求 随着网络发展, 主机数目不断增加 IPv4 地址与相应的子网掩码做逻辑与运算就可以得到 IPv4 地址所在的子网的网络地址 image.png 划分子网的细节 image.png 默认的子网掩码是指未划分子网的情况下使用的子网掩码 A: 255.0.0.0 B: 255.255.0.0 C: 255.255.255.0 无分类编址的 IPv4 地址 划分子网一定程度上解决了困, 但是没有充分利用 C 类网, IPv4 面临消耗殆尽的局面

    1.3K30编辑于 2022-01-20
  • 来自专栏程序员的知识天地

    3行代码让Python数据处理脚本获得4倍提速

    不过如果你是在最近几年配置的电脑,通常都是四核处理器,也就是有4个CPU。这就意味着在你苦苦等待Python脚本完成数据处理工作时,你的电脑其实有75%甚至更多的计算资源就在那闲着没事干! 得益于Python的 concurrent.futures 模块,我们只需3行代码,就能将一个普通数据处理脚本变为能并行处理数据的脚本,提速4倍。 4.将这4部分的处理结果合并,获得结果的最终列表。 4个Python拷贝程序在4个单独的CPU上运行,处理的工作量应该能比一个CPU大约高出4倍,对吧? 这种方法总能帮我的数据处理脚本提速吗? 如果你有一列数据,并且每个数据都能单独处理时,使用我们这里所说的Process Pools是一个提速的好方法。 不要害怕尝试这种方法,一旦你掌握了,它就跟一个for循环一样简单,却能让你的数据处理脚本快到飞起。

    1.1K40发布于 2018-12-06
  • 来自专栏不温卜火

    快速入门网络爬虫系列 Chapter09 | JSON数据处理

    1、获取JSON响应 通过网络库requests,网络爬虫获取响应,并使用JSON格式展示数据 import requests import urllib url = 'http://httpbin.org json.load():文件中JSON字符串转换为Python json.dumps():Python对象序列化为JSON对象 json.dump():Python对象序列化为JSON对象,并写入文件 把网络爬虫获取的响应转换成 Application Programming Interface,API) API不同的应用提供方便友好的接口 开发者用不同的语言结构编写程序,通过API获取数据,实现不同程序间的信息共享 API在网络爬虫中的使用场景 3、代码实现 下面在代码实现下: import requests from bs4 import BeautifulSoup as bs s=requests.session() s.headers = 4、测试 取出网址: import requests import json from bs4 import BeautifulSoup as bs s=requests.session() s.headers

    1.2K20发布于 2020-10-28
  • 来自专栏机器学习算法与Python学习

    机器学习(4) -- 神经网络

    4-2 判断一张图片是否为汽车 4.2 Neural Model(神经元模型) 神经网络是一种模拟大脑的算法。 图4-8给出了在一个具体的神经网络使用前向传播算法的例子,其中,激活函数是sigmoid函数g(x); ? 假设我们需要识别一张图片是行人,汽车,摩托车,还是卡车,也就是有4种类别。所以我们设计如图4-10所示的神经网络。 由于一共有4类,所以该神经网络4个输出单元,分别将其标号为1,2,3,4,对应行人,汽车,摩托车,卡车。每次预测输出的是一个4维向量。 图4-11 一个处理4分类问题的神经网络 参考: 《机器学习》 周志华 链接: http://weibo.com/5501429448/DxsgrEmDz?

    1.3K60发布于 2018-04-04
  • 来自专栏数据分析1480

    R&Python Data Science 系列:数据处理(4)长宽格式数据转换

    R语言中,主要介绍pivot_wide()和pivot_long()这两个函数,另外4个函数可以参考【R语言】长宽格式数据相互转换这篇文章。 Apple']*3 + ['Google']*3 + ['Facebook']*3 + ['Amozon']*3,'Year':['Sale2017', 'Sale2018', 'Sale2019']*4, 4 宽转长函数 Python实现 Python中两种方法: 1 pandas库中的melt()函数; 2 dfply库中的gather()函数; ###构造数据集wide_data

    3.1K11发布于 2019-11-15
  • 来自专栏机器学习炼丹之旅

    计算机网络:第4网络

    4.1 网络层概述 4.2 网络层提供的两种服务 4.2.1 面向连接的虚电路服务 4.2.2 无连接的数据报服务 4.2.3 对比 4.3 IPv4地址 4.3.1 IPv4地址概述 4.3.2 分类编址的IPv4地址 A类地址 B类地址 C类地址 练习 4.3.3 划分子网的IPv4地址 由来 假设有一家公司需要组建一个网络,申请IPv4地址,但是由于C类地址的可分IP数量太少 子网掩码 如下图是32位比特的分类IPv4地址,由网络号和主机号构成,现在从主机号中借用一部分来作为子网号,使其变成了32比特的划分子网的IPv4地址。 将划分子网的IPv4地址与其相应的子网掩码进行逻辑与运算就可以到得到IPv4地址所在子网的网络地址。 默认子网掩码 4.3.4 无分类编址的IPv4地址 由来 CIDR记法 路由聚合(构造超网) 习题 4.3.5 IPv4地址的应用规划 FLSM VLSM 4.4 IP数据报的发送和转发过程

    73020编辑于 2022-09-19
领券