- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序你好
区块链4大优势，与传统金融4大短板
区块链技术的四大优势表现在四个方面： 首先是免基础信任机制。
1.2K10发布于 2018-07-20 - 来自专栏算法channel
玩转Pandas，让数据处理更easy系列4
easy系列1 玩转Pandas，让数据处理更easy系列2 玩转Pandas，让数据处理更easy系列3 以上3篇总结了Pandas主要的两个数据结构：Series(一维)和DataFrame( easy系列1; 玩转Pandas，让数据处理更easy系列2) DataFrame可以方便地实现增加和删除行、列 ( 玩转Pandas，让数据处理更easy系列2) 智能地带标签的切片，好玩的索引提取大数据集的子集 (玩转Pandas，让数据处理更easy系列2) 通俗易懂地在DataFrame结构上实现merge和join操作(merge操作见：玩转Pandas，让数据处理更easy系列3) 善于处理missing 'bar': ['A', 'B', 'C', 'A', 'B', 'C'], 'baz': [1, 2, 3, 4, DataFrame实例，如下所示： df = pd.DataFrame({'col1' : ['A', 'A', 'B', np.nan, 'D', 'C'], 'col2' : [2, 1, 9, 7, 7, 4]
1.4K31发布于 2018-07-25 - 来自专栏禹都一只猫博客
Pandas文本数据处理 | 轻松玩转Pandas（4）
# 导入相关库 import numpy as np import pandas as pd 为什么要用str属性 文本数据也就是我们常说的字符串，Pandas 为 Series 提供了 str 属性，通过它可以方便的对每个元素进行操作。 index = pd.Index(data=["Tom", "Bob", "Mary", "James", "Andy", "Alice"], name="name") data = { "age": [18, 30, np.nan, 40, np.nan, 3
2.1K20发布于 2018-09-19 - 来自专栏数据科学（冷冻工厂）
CUT&Tag 数据处理和分析教程（4）
引言 本系列[1] 将开展全新的CUT&Tag 数据处理和分析专栏。想要获取更多教程内容或者生信分析服务可以添加文末的学习交流群或客服QQ:941844452。 fast/gottardo_r/yezheng_working/cuttag/CUTTag_tutorial" sampleList = c("K27me3_rep1", "K27me3_rep2", "K4me3 _rep1", "K4me3_rep2", "IgG_rep1", "IgG_rep2") histList = c("K27me3", "K4me3", "IgG") ## Collect the V1[1] %>% as.character %>% as.numeric, MappedFragNum_hg38 = alignRes$V1[4] [1] %>% as.character %>% as.numeric, MappedFragNum_spikeIn = spikeRes$V1[4]
46410编辑于 2025-03-31 - 来自专栏机器学习/数据可视化
MySQL必学4大语言
MySQL必学4种语言 本篇文章记录的是MySQL中常用的4种语言： DDL DDL，data defination language，指的是数据定义语言，其主要作用是创建数据库，对库表的结构进行删除和修改等操作 # 需要查询的字段 from table_name # 表名 where 条件 简单查询 select name, age from user where id=4; where id in ：指定从哪里开始显示，显示多少行 简写：limit 5, 4：表示从第5行开始，显示4行数据 select name, age from user limit 5; -- 只显示5行数据 select name, age from user limit 5 offset 4; -- 从第4（offset）行开始显示5(limit)行数据 select name, age from user limit 4, 5 ; -- 效果同上：逗号之前是offset的内容，逗号之后是limit内容 MySQL中的DQL应该是最常用的，请参考《MySQL经典50题》
47540编辑于 2023-08-25 - 来自专栏云头条
4 亿、金融 IT 大单
5月24日，吉林省农村信用社联合社发布《2022年核心主机及配套存储等设备采购项目》竞争性谈判公告 预算金额：8688 万元 采购需求： 1、硬件设备共计31台： 其中核心主机3台、核心主机硬件控制台4台 核心系统性能分析软件1套，核心系统开发工具1套 3、原厂集成实施服务： 包括核心系统生产及同城灾备三点架构环境搭建，核心业务系统数据平滑迁移，同城灾备重构及切换演练，开发测试环境重构等原厂商集成实施服务 4、 应急处置等现场支持原厂专家服务，包括主机50人天和存储90人天 2022年5月24日，吉林省农村信用社联合社发布《2022年网络设备采购项目》竞争性谈判公告 预算金额：4655 万元 采购需求： 核心路由器4台 ，核心交换机4台，区域汇聚交换机32台，接入交换机118台，4套SDN控制器等软硬件设备。
1.1K10编辑于 2022-06-02 - 来自专栏NewBeeNLP
大模型预训练中的数据处理及思考
在OpenAI的GPT3,4模型以及谷歌的PaLM系列模型训练中，大量用到了专有数据，如2TB的高质量书籍数据（Books – 2TB）和社交媒体对话数据（Social media conversations • 专有数据处理起来很麻烦：网页数据有固定的格式，我们可以根据html上面的标签进行处理，而专有数据因为来源很杂，格式不统一等原因，甚至需要一份数据，一种处理方式很费时间。 • 作者做的RefinedWeb数据集则显著好于之前的网页数据集C4（T5的训练数据），以及The Pile（Bloom的训练数据），说明仅仅用web数据好好清洗，也能战胜专有数据。 • OpenWebText2⭐️：是 Pile 提出的信数据集，从所有截至2020年4月的 Reddit 提交中提取了URL及其相关的元数据。 DeepMind证明了提升模型规模和提升数据质量同样重要，仅仅是大模型也做不好推理任务，但如果数据处理的好的话，模型的推理能力能大幅提升。
2.7K10编辑于 2024-06-04 - 来自专栏about云
大数据处理分析的六大工具
RapidMiner RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
3.7K150发布于 2018-03-27 - 来自专栏加米谷大数据
大数据处理必备的十大工具
大数据处理必备的十大工具 1. 4. Actian 通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了Actian Vector和Actian Matrix的创建。 Pentaho Business Analytics 从某种意义上说, Pentaho 与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理 Cloudera Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。 它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。
3.5K30发布于 2019-01-09 - 来自专栏Hello工控
CAN总线4大优点！！！
我们前期已经介绍过CAN的定义、历史及应用场合，那为啥能成为众多汽车行业及其他设备的通信技术呢？主要有以下四点，我们详细介绍。
83110编辑于 2024-10-28 - 来自专栏CSDN技术头条
勿谈大，且看Bloomberg的中数据处理平台
这里，我们不妨走进Bloomberg的用例，着眼时间序列数据处理上的数据和体积挑战。 以下为译文 在Bloomberg，我们并不存在大数据挑战。 在过去，统一这两种数据是不可能实现的，因为他们有着不同的性能需求：当天数据的处理系统必须可以承受大量的写入操作，而历史数据处理系统通常是每天一次的批量更新，但是数据体积更大，而且搜索次数也更多。 但是这里仍然存在一个非常大的缺点，在任何给定时间，到给定region的读写操作只被一个region服务器控制。如果这个region挂掉，故障将会被发现，故障转移会自动的进行。 使用HBase，用户可以在大的Portfolio文件上做拆分，并且分配到集群中的多个主机上进行处理。 这就意味着，Java当下已经成为很多高fan out计算系统的基础，其中包括Hadoop、HBase、Spark、SOLR等，同步进行垃圾回收将解决非常大的问题。
3.9K60发布于 2018-02-08 - 来自专栏企鹅号快讯
大数据处理必备的十大工具！
4.Actian Actian之前的名字叫做IngresCorp，它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。 .PentahoBusinessAnalytics 从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理 7.Cloudera Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。 它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。 来源：TechTarget
3.7K70发布于 2018-02-06 - 来自专栏大数据成神之路
面试系列：十个海量数据处理方法大总结
问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？ 根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340 亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。 四、堆 适用范围：海量数据前n大，并且n比较小，堆可以放入内存 基本原理及要点：最大堆求前n小，最小堆求前n大。 适用范围：第k大，中位数，不重复或重复的数字 基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。 当然在更新每条数据的出现次数的时候，我们可以利用一个堆来维护出现次数最多的前N个数据，当 然这样导致维护次数增加，不如完全统计后在求前N大效率高。 如果数据无法放入内存。
1.9K40发布于 2019-07-09 - 来自专栏技术碎碎念
jdbc基础 (三) 大文本、二进制数据处理
LOB (Large Objects) 分为：CLOB和BLOB，即大文本和大二进制数据 CLOB：用于存储大文本 BLOB：用于存储二进制数据，例如图像、声音、二进制文件 在mysql中,只有BLOB ,没有CLOB，mysql存储大文本用TEXT TEXT 分为：TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT BLOB 分为：TINYBLOB、BLOB、MEDIUMBLOB和 下面来看具体的代码实现： 1 package com.cream.ice.jdbc; 2 3 import java.io.File; 4 import java.io.FileNotFoundException ; 39 statement.setInt(1, 1); 40 41 //大文本要使用流的形式。 ; 84 } 85 } 86 } 1 package com.cream.ice.jdbc; 2 3 import java.io.FileInputStream; 4
1.9K70发布于 2018-04-11 - 来自专栏机器学习/数据可视化
深度学习4大激活函数
深度学习4大激活函数 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出实际上都是上层输入的线性函数。 本文将介绍深度学习中的4个常见的激活函数，从原函数公式、导数函数及二者的可视化来进行对比： Sigmoid函数 Tanh函数 ReLu函数 Leaky ReLu函数 激活函数特征 非线性：激活函数满足非线性时 当X无穷大的时候，函数值趋于1；X无穷小的时候，趋于0。相当于对输入进行了归一化操作。 Sigmod函数存在幂运算，计算复杂度大，训练时间长。 frac{a-b}{a+b}\right){\prime}=\frac{(a-b)^{\prime} \times(a+b)-(a-b) \times(a+b){\prime}}{(a+b)2} 步骤4、
82930编辑于 2023-08-25 - 来自专栏CreateAMind
解决深度学习4大缺陷
鉴于研究中研究的学习和信用分配方案，在第 4 节中，我们考虑了神经科学启发的机器学习研究面临的重要开放性问题和挑战，以及可能取得进展的有前景的问题领域。 4 Future Directions for Research未来研究方向 尽管近年来在生物启发式（bio-inspired）学习方法方面取得了显著的进展和活动，但这些方法尚未达到反向传播（backpropagation 在实践中，该领域的经验性进展将通过采用更多在使用反向传播的机器学习研究中看到的方法和技术，包括架构设计、正则化和数据处理。
64910编辑于 2024-04-19 - 来自专栏机器学习/数据可视化
特征选择4大方法
4大方法进行特征选择 特征选择能剔除和目标变量不相关(irrelevant)或冗余(redundant )的特征，以此来减少特征个数，以此来达到提高模型精确度，减少运行时间的目的。 另一方面，筛选出真正相关的特征之后也能够简化模型，经常听到的这段话足以说明特征工程以及特征选择的重要性： 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已 本文记录的是使用4种不同的方法来进行机器学习中特征的重要性排序 pd.read_csv("kc_house_data.csv") house Out[2]: 基本信息 In [3]: # 数据shape house.shape Out[3]: (21613, 21) In [4] : # 字段缺失值 house.isnull().sum() Out[4]: id 0 date 0 price 0 bedrooms
51941编辑于 2023-08-25 4大痛点+4大场景技术方案
尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。这篇文章，我们不讲虚的，直接拆解数据同步的常见难题、技术方案和避坑指南，帮你把数据同步做稳、做快、做好用。 4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面 （1）ETL工具：支持SQL转换、UDF自定义函数以及脏数据处理，能够满足复杂的数据转换需求。
59310编辑于 2025-09-22- 来自专栏程序员的知识天地
3行代码让Python数据处理脚本获得4倍提速
不过如果你是在最近几年配置的电脑，通常都是四核处理器，也就是有4个CPU。这就意味着在你苦苦等待Python脚本完成数据处理工作时，你的电脑其实有75%甚至更多的计算资源就在那闲着没事干！ 得益于Python的 concurrent.futures 模块，我们只需3行代码，就能将一个普通数据处理脚本变为能并行处理数据的脚本，提速4倍。 4.将这4部分的处理结果合并，获得结果的最终列表。 4个Python拷贝程序在4个单独的CPU上运行，处理的工作量应该能比一个CPU大约高出4倍，对吧？ 如果你要处理非常大的数据集，这里有篇设置将数据集切分成多少小块的文章，可以读读，会对你帮助甚大. 这种方法总能帮我的数据处理脚本提速吗？ 不要害怕尝试这种方法，一旦你掌握了，它就跟一个for循环一样简单，却能让你的数据处理脚本快到飞起。
1.1K40发布于 2018-12-06 - 来自专栏数据分析1480
R&Python Data Science 系列：数据处理(4）长宽格式数据转换
R语言中，主要介绍pivot_wide()和pivot_long()这两个函数，另外4个函数可以参考【R语言】长宽格式数据相互转换这篇文章。 Apple']*3 + ['Google']*3 + ['Facebook']*3 + ['Amozon']*3,'Year':['Sale2017', 'Sale2018', 'Sale2019']*4, 4 宽转长函数 Python实现 Python中两种方法： 1 pandas库中的melt()函数； 2 dfply库中的gather()函数； ###构造数据集wide_data
3.1K11发布于 2019-11-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号