- 综合排序
- 最热优先
- 最新优先
- 来自专栏Dechin的专栏
python3表格数据处理
技术背景 数据处理是一个当下非常热门的研究方向，通过对于大型实际场景中的数据进行建模，可以用于预测下一阶段可能出现的情况。比如我们有过去的2002年-2018年的黄金价格的数据： ? 3月 27 21:31 data.xls -rw-r--r-- 1 dechin dechin 563 3月 27 21:42 table.py In [8]: ! vaex的安装与使用 vaex提供了一种内存映射的数据处理方案，我们不需要将整个的数据文件加载到内存中进行处理，我们可以直接对硬盘存储进行操作。 第一个方案是使用pandas将csv格式的文件直接转换为hdf5格式，操作类似于在python对表格数据处理的章节中将xls格式的文件转换成csv格式： [dechin@dechin-manjaro gold , 84.51], [ 2, ... 3 '(3, [84.9 , 85.06, 84.9 , 84.99], [ 3, ... 4 '(4, [
3.2K20发布于 2021-05-21 - 来自专栏Y大宽
3：数据处理:sra转成fq文件
raw_fq/下 cd /project/raw_fq/ for id in `seq 8223 8454`; do nohup sudo fastq-dump --gzip --split-3 fudan_TNBC/SRR851${id}.sra . & done nohup for id in `seq 854 999`; do sudo fastq-dump --gzip --split-3 /fudan_TNBC/SRR8517{id}.sra -O .; done & for ((i=854;i<=999;i++));do sudo fastq-dump --gzip --split-3
1.4K50发布于 2019-05-29 - 来自专栏7号代码
Android网络与数据存储——网络编程数据处理（网络请求，解析xml，解析Json）
手机的优势是携带方便，可以随时打开，而且手机通常总是处于联网状态的，所以网络支持对于手机很重要。而且Java的网络编程完全适用于Android网络编程。 一.网络请求 ---- 1.URL 在真正学习网络请求之前有必要了解一下什么是URL，URL的英文全拼是Uniform Resource Locator，翻译过来为统一资源定位器，大概意思就是URL是指向互联网资源的指针 2.Http网络请求 Android中的Http网络请求有两种方式： HttpURLConnection HttpClient（已不推荐使用） 既然HttpClient已被弃用，那就用HttpURLConnection 到目前为止，还不算请求完成，因为这里用到了网络，要想获取网络上的数据，该应用必须有请求网络的权限，在AndroidManifest.xml中加入网络权限即可。 四.网络状态处理 ---- 网络状态处理：可以判断是否连接网络，还可以区分移动网络流量还是WiFi网络流量 ConnectivityManager NetworkInfo 五.扩展 ---- 下载电影、
1.8K30发布于 2018-09-28 - 来自专栏算法channel
玩转Pandas，让数据处理更easy系列3
讲述了这两种数据结构常用的属性和操作，比如values，index, columns，索引，Series的增删改查，DataFrame的增删改查，Series实例填充到Pandas中，请参考： 玩转Pandas，让数据处理更 easy系列1 玩转Pandas，让数据处理更easy系列2 02 读入DataFrame实例 读入的方式有很多种，可以是网络 html 爬虫到数据，可以从excel, csv文件读入的，可以是Json test.xls') #读入csv文件 pd_data.to_csv('test.csv') 构造一个pd_data, 然后写入到excel文件中， pd_data = pd.DataFrame([[1,2,3] #已知4个点的x,y坐标 s=pd.DataFrame([[1,2.0, 3.0],[2,3.2,1.4],[3,9.0,0.7],[4,3.1,2.9]], columns=['no','x','y'
1.9K10发布于 2018-07-25 - 来自专栏数据分析1480
R&Python Data Science 系列：数据处理（3）
R&Python Data Science 系列：数据处理（2） R&Python Data Science 系列：数据处理（1） 1 重塑函数 这里只介绍arrange()和rename 3 窗口函数 窗口函数，是对某列操作，返回长度相同的一列，主要包括排名函数、偏移函数、累计聚合函数。 聚合窗口函数 【R语言】窗口函数系列四：分布窗口函数 3.1 排名函数 Python中排名函数主要有row_number()、min_rank()、dense_rank()，R语言也是这个3个函数 > summarise(price_first = first(X.price), price_last = last(X.price),price_nthprice = nth(X.price,3) 5 总结 数据处理1-3，主要介绍了Python中dfply和R中dplyr包中的数据处理函数，几乎满足数据预处理中筛选变量、衍生变量以及计算一些统计量的需求。
1.7K20发布于 2019-11-09 - 来自专栏3D视觉从入门到精通
3D相机的数据处理方式
在上一篇中，我们介绍了什么是3D相机。但是对于初次接触3D相机的同学，可能首先面临的问题是如何处理3D相机得到的数据。3D相机的数据分为两种方式：三维点云数据方式，二维数据方式。 中文里的3D相机，在英文语境下其实常被称为3D sensor，并没有3D camera的说法，而2D相机，被称为2D camera或者camera。 ? 3D相机获取3D数据的方式有很多，但不论是哪种方法，3D相机都通过某种算法或者原理来得到一些位置的3D数据。 3D算法。 支持这种保存方式的相机多用于3D重建， 地图引导等方向。相机采集到3D数据，用户用来处理和最终得到的也是3D数据。 但是，有些时候，这些数据方式并不是我们需要的。
73220发布于 2021-01-13 - 来自专栏算法channel
数据处理的 3 个小技巧，都很实用
个人原创，一字一字码的 数据处理无所不在，掌握常用技巧，事半功倍。 此系列使用 Pandas 开展数据处理分析，总结其中常用、好用的数据分析技巧。 IMDB-Movie-Data.csv', 'movietweetings', 'titanic_eda_data.csv', 'titanic_train_data.csv'] 准备工作就位后，正式开始数据处理技巧之旅 行： >>> meta.head(3) Title 0 Guardians of the Galaxy 1 Prometheus str.count(" ") + 1 得到单词个数 >>> meta["words_count"] = meta["Title"].str.count(" ") + 1 >>> meta.head(3) Galaxy 4 1 Prometheus 1 2 Split 1 3
70020发布于 2020-05-08 - 来自专栏数据科学（冷冻工厂）
CUT&Tag 数据处理和分析教程（3）
引言 本系列[1] 将开展全新的CUT&Tag 数据处理和分析专栏。 工具修剪读数，并调整参数为 --local --very-sensitive --no-mixed --no-discordant --phred33 -I 10 -X 700 进行比对，以忽略读数 3’
74110编辑于 2025-03-14 - 来自专栏计算机视觉工坊
3D相机的数据处理方式
在上一篇中，我们介绍了什么是3D相机。但是对于初次接触3D相机的同学，可能首先面临的问题是如何处理3D相机得到的数据。3D相机的数据分为两种方式：三维点云数据方式，二维数据方式。 中文里的3D相机，在英文语境下其实常被称为3D sensor，并没有3D camera的说法，而2D相机，被称为2D camera或者camera。 ? 3D相机获取3D数据的方式有很多，但不论是哪种方法，3D相机都通过某种算法或者原理来得到一些位置的3D数据。 3D算法。 支持这种保存方式的相机多用于3D重建， 地图引导等方向。相机采集到3D数据，用户用来处理和最终得到的也是3D数据。 但是，有些时候，这些数据方式并不是我们需要的。
1.1K20发布于 2021-01-12 - 来自专栏AI研习社
用于快速开发 3D 数据处理软件的开源数据处理库 —— Open3D | Github 项目推荐
Open3D 是一个可以支持 3D 数据处理软件快速开发的开源库。Open3D 前端公开了一组用 C++ 和 Python 写成的精心挑选的数据结构和算法，后端高度优化并设置为并行。 Open3D 可以在不同的平台上设置，并以最少的工作量进行编译。Open3D 的代码非常整洁，可以通过明确的代码审查机制来维护。 目前 Open3D 已经在一些发表过的研究项目中使用，并积极地部署在云上。Open3D 的作者表示，欢迎各开源社区的开发者们在该项目中贡献代码。 }, year = {2018}, } 核心特征： 基本的3D数据结构 基本的3D数据处理算法 场景重建 表面对齐 三维可视化 Python绑定 支持的编译器： Linux：GCC /IntelVCL/Open3D 文档：www.open3d.org/docs License：MIT 以下图片来自使用 Open3D 的项目： ?
2K50发布于 2018-03-16 - 来自专栏changxin7
3.网络编程 网络编程
就在此时，突然灵感来了，我可以通过qq、云盘、微信等发送给他啊，可是人家说了，让你用自己写的程序啊，嗯，这是个问题，此时又来一个灵感，我给他发送文件肯定是通过网络啊，这就产生了网络，对吧，那我怎么让我的程序能够通过网络来联系到我的朋友呢 首先，查询结果是对的，socket就是网络通信的工具，也叫套接字，任何一门语言都有socket，他不是任何一个语言的专有名词，而是大家通过自己的程序与其他电脑进行网络通信的时候都用它。 TCP协议独立于 write()/send() 函数，数据有可能刚被写入缓冲区就发送到网络，也可能在缓冲区中不断积压，多次写入的数据被一次性发送到网络，这取决于当时的网络情况、当前线程是否空闲等诸多因素 # 2，通过struct模块直接数据处理，不能处理太大。 网络编程的作业 好了同学们，到了这儿，我们的网络编程socket就讲完了，大致就是这些内容，给大家留个作业：（你的努力的成果你自己是看的到的~！）
2.9K21发布于 2019-08-20 - 来自专栏后端开发技术
DPDK 高性能网络数据处理：原理、配置与实践
一、背景网络数据包的处理一般是由内核网络协议栈完成。但是，对于要极高吞吐量和低延迟的应用，内核的上下文切换、中断处理以及数据拷贝等开销会成为性能瓶颈。 DPDK的核心思想是把网络数据处理从内核空间转移到用户空间。DPDK接管网卡(NIC)，绕过内核，直接从网卡接收原始数据包。应用程序自行实现协议栈的解析和封装逻辑。 一个完整的UDP数据包在网络传输中是分层封装的。从最外层到内层：（1）以太网头：属于数据链路层，共14字节。目的MAC地址：6字节，标识数据包的接收方物理地址。 （3）UDP头：属于传输层，共8字节。源端口号(SourcePort)：2字节。目的端口号(DestinationPort)：2字节。 （3）新添静态IP。netsh-ciiaddneighbors19192.168.7.19938-d5-47-1c-5c-fb注意要确定MAC地址的正确性。（4）检查是否添加成功。
1.1K11编辑于 2025-09-03 - 来自专栏罗西的思考
机器学习参数服务器Paracel (3)------数据处理
[源码解析] 机器学习参数服务器Paracel (3)------数据处理 目录 [源码解析] 机器学习参数服务器Paracel (3)------数据处理 0x00 摘要 0x01 切分需要 1.1 前文介绍了PyTorch 的数据处理部分，本文接着介绍Paracel的数据处理部分，正好可以与PyTorch做一下印证。 1.3.2 非线性模型（神经网络） 神经网络的模型与传统机器学习模型不同，具有如下特点： 神经网络具有很强的非线性，参数之间有较强的关联依赖。 因为过于复杂，所以神经网络需要较高的网络带宽来完成节点之间的通信。 根据这些特征，神经网络可以分为 层间分割 和 层内分割： 层间分割：横向按层划分或纵向跨层划分进行网络划分。 0xFF 参考 卷积神经网络的并行化模型--One weird trick for parallelizing convolutional neural networks AI框架中数据处理的挑战与解决思路
71520发布于 2021-08-24 - 来自专栏iOS面试
iOS 面试策略之系统框架-网络、推送与数据处理
如果说移动时代的前身是什么，我想一个可能的答案就是网络时代。网络的兴起，让所有设备相连成为了可能，也催生了电商、社交、搜索等多个领域的商业巨头。 而移动时代，则是网络时代的必然延伸，它代表着更便捷、更广阔、更深入的连接。 [1240] 在这个背景之下，我们所开发的 App 或多或少会与网络相连。 通过实现它可以实例化任意网络传输任务，诸如请求、上传、下载任务。 除了以上 3 点，我们还可以进一步修正代码，增强其可读性，并完善其逻辑。 具体的流程图如下： [image] 数据处理 9.iOS 开发中如何实现编码和解码？
2.4K01发布于 2021-05-15 - 来自专栏python3
网络基础入门3
metric）： 表示路由器去往该目标网段的距离； 越小越好； 对于直连和静态路由，metric 都为0 ，且不可以更改 注意： 当去往同一个网络具有多个条目时 ，会进行路由属性的比较， 选择一个最优的，放入路由表： 1、首先比较 AD ， 越小越好； 2、如果AD相同，则比较Metric ， 越小越好； 3、如果都相同，则同时放入路由表，形成”负载均衡“； 认识网关： 1、是一个接口级别的概念，而不是设备级别的概念； 2、是以一个 IP 地址的形式体现和配置的； 3、对于源主机而言，去往“其他网段”时，才使用“网关”； 4、
47510发布于 2020-01-15 - 来自专栏python3
网络编程3要素
1.找到对方ip 2.找到应用程序端口 3.定义相同的通信协议 关于ip： 127.0.0.1本地回环地址，可用于ping网卡 xxx.xxx.xxx.255 广播地址，网段内的计算机都能收到 关于端口 对osi参考模型的简单解释： 我想把数据“你好”通过qq发送给网络中的另一台计算机 先根据应用测数据封装规则，将数据进行封装，传到表示层 表示层根据自己的数据封装规则，再将数据进行分装，传到会话层， 会话层根据自己的数据封装规则 ，再将数据进行封装，传到传输层， 传输层根据自己的数据封装规则，再将数据进行封装，传到网络层， 网络层根据自己的数据封装规则，再将数据进行封装，传到数据链路层 数据链路层根据自己的数据封装规则，再将数据进行封装 另一台计算机，在按照相反的方向，进行每一层的解析，最后到应用层找到 qq应用程序的端口，传输给socket接收 其中应用层的常见协议有：:HTTP，HTTPS，FTP，TELNET，SSH，SMTP，POP3等
40930发布于 2020-01-14 - 来自专栏不温卜火
快速入门网络爬虫系列 Chapter09 | JSON数据处理
1、获取JSON响应 通过网络库requests，网络爬虫获取响应，并使用JSON格式展示数据 import requests import urllib url = 'http://httpbin.org json.load()：文件中JSON字符串转换为Python json.dumps()：Python对象序列化为JSON对象 json.dump()：Python对象序列化为JSON对象，并写入文件 把网络爬虫获取的响应转换成 Application Programming Interface,API) API不同的应用提供方便友好的接口 开发者用不同的语言结构编写程序，通过API获取数据，实现不同程序间的信息共享 API在网络爬虫中的使用场景 3、代码实现 下面在代码实现下： import requests from bs4 import BeautifulSoup as bs s=requests.session() s.headers =
1.2K20发布于 2020-10-28 - 来自专栏nginx遇上redis
vlan网络环境3
undo interface Vlanif 3 undo interface Vlanif 2 vlan 4 quit interface GigabitEthernet 0/0/1 undo port 4 interface GigabitEthernet 0/0/2 undo port trunk all vlan 4 vlan 4 aggregate-vlan access-vlan 2 3
38720发布于 2021-10-20 - 来自专栏python3
网络监听简介3
其实除了截获telnet密码这样的功能外，专用的网络×××从密码到邮件，浏览的网页等内容，无所不包，但由于本文不是介绍网络×××用途的，因此这里不详细叙述各种×××的使用方法，有兴趣的读者可以参照各个软件的 网络监听的防范方法： 上面我们介绍了可以用来进行网络监听的软件，那么对这种不受欢迎的行为，有没有一些防范手段呢？ 检测网络监听的手段 对发生在局域网的其他主机上的监听，一直以来，都缺乏很好的检测方法。这是由于产生网络监听行为的主机在工作时总是不做声的收集数据包，几乎不会主动发出任何信息。 2：观测dns 许多的网络×××都会尝试进行地址反向解析，在怀疑有网络监听发生时可以在dns系统上观测有没有明显增多的解析请求。 3：利用ping模式进行监测 上面我们说过：当一台主机进入混杂模式时，以太网的网卡会将所有不属于他的数据照单全收。
65850发布于 2020-01-10 - 来自专栏python基础文章
网络安全——网络层安全协议（3）
前言 本章本章讲解继续讲解本章将会继续讲解网络层的安全协议，IPSec采用的安全技术。 （3）数据完整性 数据完整性。防止传输过程中数据被篡改，确保发出数据和接收数据的一致性。 这在数据交换中非常关键，尤其当传输媒介，如公共网络中不提供安全保证时更显重要。 ---- HMAC结合Hash算法和共享密钥提供完整性。 IPSec还支持3DES算法，3DES可提供更高的安全性，但计算速度更慢。 ---- 7.密钥管理 （1）动态密钥更新。IPSec策略使用“动态密钥更新”法决定一次通信中新密钥产生的频率。 （3）Diffie-Hellman算法。要启动安全通信，通信两端必须首先得到相同的共享密钥（主密钥），但共享密钥不能通过网络相互发送，因为这种做法极易泄密。
67030编辑于 2023-10-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号