首页
学习
活动
专区
圈层
工具
发布

Python在Excel中创建与优化数据透视表的完整指南

​在数据分析场景中,Excel数据透视表是快速汇总、分析数据的利器,但面对百万级数据时,手动操作常面临卡顿甚至崩溃。...Python凭借其强大的数据处理能力,结合Spire.XLS和Pandas两大库,可实现数据透视表的自动化创建与深度优化。本文将通过实际案例,详细讲解如何用Python高效生成专业级数据透视表。...一、环境搭建:选择适合的工具库1. Spire.XLS:企业级精准控制Spire.XLS是专业级Excel操作库,支持动态创建透视表、调整样式、设置筛选条件等高级功能。...:支持自定义聚合函数(如加权平均)大数据处理:通过分块读取(chunksize参数)处理超百万行数据二、基础操作:从零创建透视表案例1:使用Spire.XLS创建销售分析透视表假设需分析某企业2025年销售数据.../data") observer.start() Q3:如何处理透视表中的空值?

94410
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Excel小技巧41:在Word中创建对Excel表的动态链接

    例如,我们可以在Word中放置一个来自Excel的表,并且可以随着Excel中该表的数据变化而动态更新。...这需要在Word中创建一个对Excel表的动态链接,允许Word文档自动获取Excel表的变化并更新数据。 例如下图1所示的工作表,其中放置了一个Excel表,复制该表。 ?...图2 在弹出的“选择性粘贴”对话框中,选取“粘贴链接”并选择“形式”列表框中的“Microsoft Excel工作表对象”,如下图3所示。 ?...图3 单击“确定”按钮后,该Excel表中的数据显示在Word文档中,如下图4所示。 ? 图4 此时,你返回到Excel工作表并修改其中的数据,如下图5所示。 ?...图9 这样,每次要更新数据时,在表中单击右键,在快捷菜单中选择“更新链接”即可,如下图10所示。 ? 图10 实际上,当创建对单元格区域的链接后,Word将会存储源数据字段的信息,然后显示链接的数据。

    9.4K30

    前沿观察 | 分布式SQL性能对比

    假设写入随着机器大小扩展,那么具有多个表的Aurora数据库的最大写入吞吐量的上限为每秒168K。...读扩展 两种数据库都能实现读扩展,然而: Aurora中读扩展实现的同时,提供了过时的读数据,牺牲了数据的一致性。 如果必须在Aurora中查询只读副本,那么应用程序设计可能会变得更加复杂。...其次,更重要的问题是,从副本中读取数据将返回过期的数据,这可能会损害数据的一致性。为了读到真实的数据,应用程序必须从主节点读取数据(这个主节点还处理所有写操作)。...YugabyteDB可以在集群中的每个节点上指定连接数。每个节点的默认连接数是300(可配置),在我们的示例中设置3个节点,最多可获得900个连接。但是扩展连接很容易。...这成为两种设计的基本架构折衷,因此在选择之前需要仔细考虑。但是原始性能数据是什么样的呢?为了确定这一点,我们执行了一个基准测试,将500万唯一键值数据插入到一个具有非聚集索引列的数据库表中。

    2.9K10

    「列式数据库」与其他数据库相比较,YugabyteDB太强了

    作为云本地数据库,它可以跨公共和私有云部署,也可以轻松地部署在Kubernetes环境中。 YugabyteDB是作为一个Apache 2.0开源项目开发和发布的。...内置的企业级特性 从v1.3开始,YugabyteDB是唯一一个拥有内置企业特性的开源分布式SQL数据库,比如分布式备份、数据加密和读取副本。...开放源码中还包含了一些新特性,比如Change Data Capture (CDC)和2个数据中心部署。 YugabyteDB支持如下特性: 线性可伸缩性 可用于读写的可靠、快速扩展。...同位置的表 对大量关系和数据库进行建模,具有容错能力。 更改数据捕获(CDC) 流数据从mb到外部系统的变化。 两个数据中心(2DC) 在两个地理分布的数据中心之间复制数据更改。...查看YugabyteDB与分布式SQL和NoSQL类别中的其他操作数据库的比较。要获得详细的比较,请单击数据库名称。 分布式SQL数据库 ? NoSQL databases ?

    4K30

    Excel实战技巧79: 在工作表中创建让输入的密码显示*号的登录界面

    学习Excel技术,关注微信公众号: excelperfect 在工作表中,我们可以创建简单的用户名和密码登录框,并且像专业的密码框界面那样,在用户输入密码时显示的是*号。...第1步:在工作表中添加文本框 单击功能区“开发工具”选项卡“控件”组中的“插入——ActiveX控件——文本框“,如下图1所示。 ?...图1 在工作表中插入两个文本框,并将其大小和位置进行适当地调整,如下图2所示。 ? 图2 第2步:设置文本框属性 要想使得在文本框中输入时掩盖其中的内容,需要设置其属性。...在设计模式下,在要掩盖输入内容的文本框中单击鼠标右键,选取快捷菜单中的”属性“命令,如下图3所示。 ?...注意,在这种情况下,虽然看起来输入的密码被掩盖了,但仍然存储在工作表中,这样他人可轻松从文本框中提取密码。

    7.2K10

    运营数据库系列之高可用性

    可以在实时系统中添加和删除节点、表和列,还可以在不停机的情况下添加SQL引擎和辅助组件。 还支持不关闭同一数据库上多个实例的配置更改。...数据库在集群中至少维护三个数据副本(可以配置更多副本),以防止在热灾难恢复环境中中断。...列族是在表创建时定义的列分组,与在表创建时不必定义的列形成对照,因为它们可以在插入时动态创建。 当数据从一个集群复制到另一集群时,将使用集群ID(属于元数据的一部分)跟踪数据的原始来源。...例如,提供Nifi来启用流式接收,并从任何关系DBMS导出到Cloudera的OpDB。 只读副本 可以创建只读副本,这意味着它不支持对象的更新、删除或创建。...这种类型的副本适用于只读工作负载分配和业务连续性计划。 您可以通过两种不同的方式创建只读版本: • 将数据库复制到标记为只读的第二个集群。

    1K20

    OceanBase 6大学习法--OB上手视频学习总结第一章

    多租户: 支持在同一集群中创建多个独立的租户,每个租户相当于一个独立的 MySQL 实例,适用于微服务架构和 SaaS 服务商 四、OceanBase的应用场景 替代大规模 MySQL 实例: 适用于大规模...高并发和快速增长业务: 适用于业务压力大、增长快的场景,能够通过分区表和水平扩展来解决数据规模增长的问题 分布式数据架构的演变: image 集中式数据库阶段: 早期,大部分企业使用集中式数据库,如 Oracle...通过大查询队列限制复杂查询的资源使用,保证 TP 业务的性能。 多租户: 可以在同一集群中创建多个独立的租户,每个租户相当于一个独立的 MySQL 实例。...这种方式适用于对实时性和数据一致性要求不高的 AP 分析业务。 只读副本:OceanBase 支持创建只读副本。只读副本仅用于读取数据,不参与 Paxos 协议的选举,只从主副本同步数据。...社区支持: 用户可以在社区论坛或技术答疑群获得支持.

    81700

    史上最全腾讯云数据库(MongoDB)监控最佳实践

    在线扩容 在 WEB 控制台或者 API 发起扩容操作。 系统根据需要按新规格创建对应数量的 Secondary 节点。 依次把新创建的 Secondary 节点加入集群实例内部,同步数据。...灵活的读写分离策略 基于 Secondary 的读写分离策略。连接参数中设置 readrefence=secondary 指定从库读。 基于只读实例的读写分离策略。...通过购买 MongoDB 主实例的一个或多个只读实例来实现读写分离需求,通过只读实例读操作来满足大量读应用需求,减轻主库的压力。 6. 提供库表回档 细粒度快速处理错误。...时延在 100 毫秒以上请求次数 > 5000 注:时延在 100 毫秒以上请求在 MongoDB 中可以理解为慢查询,是性能问题排查的重要指标。...云数据库 MongoDB 预设面板总览: 附录:监控指标 欢迎联系云监控小助手微信号,加群讨论:)

    4K30

    在线离线一体化:HTAP 场景的真实体验与边界

    二、Level 1:只读副本——最低成本的一体化OLTP 数据库(MySQL/PostgreSQL)自带只读副本,把分析查询引到只读实例上。...真实边界:副本解决的是「分析查询不影响主库」这一件事,不解决「分析查询跑不动」——大表聚合、多表 join、窗口函数在 OLTP 数据库上(行存储、B+ 树索引)该慢还是慢。...亿行表 count distinct 跑 10 分钟,只读副本也一样。判断标准:分析查询 P95 在 10 秒内且并发很低,Level 1 够用;超过就要升 Level。...细节:只读副本的复制延迟(毫秒到秒级)对报表场景无碍;分析大查询会打满副本的 IO 影响其他读——副本按用途拆(报表专用副本 + 服务读副本)是基本操作。...多数系统死在「为了想象中的分析需求建了 Level 3 的全链路,结果分析查询每天只有 50 次还是报表」——技术能力和业务需求的匹配,永远是选型的第一原则。

    18110

    带你遨游银河系的 10 种分布式数据库

    3.4 YugabyteDB 在架构上和 CockroachDB 有很多相似之处,比如支持全球化部署,采用混合逻辑时钟(HLC),基于 Percolator 的事务模型,兼容 PostgreSQL 协议...由于高度的相似性,YugabyteDB 与 CockroachDB 的竞争表现得非常激烈。 Yugabyte 采用两层架构:查询层和存储层。...不过这个架构仅仅是逻辑上的,部署结构中,这两层都位于 TServer 进程中。这一点和 TiDB 不同。...这不仅意味着 TDSQL 的关系型实例、分 布式实例、分析性实例可以混合部署在同一集群中,也意味着即使是简单的 x86 服务器,也 可以搭建出类似于小型机、共享存储等一样稳定可靠的数据库。 ?...逻辑架构 用户可以在 SequoiaDB 巨杉数据库中创建多种类型的数据库实例,以满足上层不同应用程序各自的需求。

    5.5K21

    集中式和分布式差在哪?一笔订单看懂 GaussDB、openGauss、PostgreSQL 的企业用法

    右:CN协调三个DN,数据按门店拆开同一个动作集中式主备按门店分片查一家门店的订单主库或只读备库处理带上门店编号,能直接定位到某个分片建订单并扣本店库存在一个库里提交事务两张表按同样规则分布时,可能在一个分片内完成两家门店间调拨库存在同一个库里处理可能横跨两个分片...真撑不住了,先试这些:遇到的问题先评估的办法边界部分SQL慢执行计划、索引、SQL与锁冲突优化先确认是不是真缺硬件读取压力大缓存、只读副本、读写分离副本不分担写入,还要处理复制延迟历史数据堆积归档、冷热分离...集中式配主备,分布式的每个分片也可以配副本:数据拆成几份,和同一份数据留几个副本,是两个维度。分布式给的是一条扩展路径,不是把集中式该做的事自动做快。...表分区只是把一张逻辑大表拆成多个物理分区,这些分区仍可全在同一个节点上,不算跨节点分片。最常见的一套用法是一套库承载一个业务系统,靠索引、连接池、缓存、只读副本和升配撑规模。...分布式表按分布键把大表拆到多个节点,比如按租户编号拆,租户A在节点1、租户B在节点2;参考表是小字典表,在每个节点各存一份完整副本,分布式表JOIN参考表时就不用跨节点搬数据。

    20510

    带你遨游银河系的 10 种分布式数据库

    3.4 YugabyteDB 在架构上和 CockroachDB 有很多相似之处,比如支持全球化部署,采用混合逻辑时钟(HLC),基于 Percolator 的事务模型,兼容 PostgreSQL 协议...由于高度的相似性,YugabyteDB 与 CockroachDB 的竞争表现得非常激烈。 Yugabyte 采用两层架构:查询层和存储层。...不过这个架构仅仅是逻辑上的,部署结构中,这两层都位于 TServer 进程中。这一点和 TiDB 不同。...这不仅意味着 TDSQL 的关系型实例、分 布式实例、分析性实例可以混合部署在同一集群中,也意味着即使是简单的 x86 服务器,也 可以搭建出类似于小型机、共享存储等一样稳定可靠的数据库。...逻辑架构 用户可以在 SequoiaDB 巨杉数据库中创建多种类型的数据库实例,以满足上层不同应用程序各自的需求。

    1.1K20

    OceanBase 集群架构

    2.OceanBase基本概念介绍2.1集群一个集群包含多个租户,由多个OBServer服务器协同提供服务。2.2zone可用区(Zone)是一个逻辑概念,每个Zone均有且只有一份完整的副本。...;也可以在每个zone单独创建资源池,zonelist每个资源池只绑定一个zone,建租户时候绑定三个资源池。...2.6建表2.7分区表分区建、分区规则、分区数量2.8tablet类似于Oracle的segment,一个分区对应一个分片,分片是承载分区数据的物理实体。...日志流:OceanBase通过在多个副本之间同步事务日志来完成副本的同步,在不同副本之间同步的日志被称为日志流。...副本类型:全功能副本:参与Paxos多数派同步的副本拥有完整的日志和数据,也可以参与Leader选举或者当选为Leader;只读副本:虽然也拥有完整的日志和数据,但它不参与Paxos多数派同步和选举的副本

    36210

    AlwaysOn 进阶 Level 1:What is SQL Server AlwaysOn?

    AlwaysOn可用性组是SQL Server 2012中引入的新技术,用于将预定义的数据库组复制到AlwaysOn中已知的一组只读伙伴实例或副本。...创建AlwaysOn组侦听器时,将创建将由AO组副本共享的IP地址和网络名称资源。 正如我们所发现的,故障转移群集实例链中的薄弱环节是共享存储。...AlwaysOn听众 监听程序在配置时将作为资源创建,并驻留在AlwaysOn可用性组的故障转移群集应用程序角色中。...这是我们可以减轻主副本负载的另一种方式。 在AlwaysOn组的故障转移期间,群集中的节点之间的群集应用程序及其资源将发生故障转移。...群集应用程序的节点位置跟​​踪主副本及其底层节点,并根据需要在群集中移动。在主副本是SQL Server的群集实例的情况下,侦听器由该FCI 副本的主动节点拥有。

    2.2K31

    当 PostgreSQL 面临性能瓶颈:80TB 电商业务迁移至 Apache Doris 的实践思考

    随着分析负载不断增加,团队往往会优先采用成本较低、改动较小的优化手段,例如增加索引、表分区、反规范化设计、物化视图、只读副本,以及Citus等分片方案。...可参考下表自查:同时建议在PostgreSQL的只读副本上执行以下查询,用于分析当前表扫描情况:展开代码语言:TXTAI代码解释SELECT schemaname,   ...很多团队在发现这一现象后,第一反应往往是继续增加PostgreSQL只读副本,希望通过横向扩展缓解压力。为什么只读副本无法解决这一问题?...可参考下表自查:同时建议在PostgreSQL的只读副本上执行以下查询,用于分析当前表扫描情况:展开代码语言:SQLAI代码解释SELECTschemaname,relname,seq_scan,seq_tup_read...由于同一列中的数据类型一致、数据分布更加集中,列式数据库通常能够实现5~10倍的数据压缩,而传统行存储的压缩率通常约为2~3倍。

    26000

    聊一聊分布式数据库

    单体数据库时代,随着系统交易量的不断上升,数据库读写性能出现了严重下降。我们可以借助分库分表中间件,比如mycat、shardingjdbc来实现分库分表,缓解单库的读写性能。...如果需要分库分表,这时架构就需要调整,如下图: 这个架构增加了代理层,它的功能包括客户端接入、简单的查询处理、进程管理和分片信息管理。这时因为数据分布在不同的切片上,使用的复杂性也大幅度增加。...协调节点增加了运算能力,但是要支持分布式事务的一致性,还是远远不够的。下面我们就看一下一致性问题。 一致性 在分布式的CAP理论中,数据一致性是终极目标。我们来聊一下线性一致性和因果一致性。...发生这个问题的原因就是多副本同步延迟,而线性一致性要解决的问题如下: 用户的读写请求顺序与实际的时间相一致 如果user1读取某一个key之前user2已经修改了key,那user1读取到的值一定是user2...它主要有以下特性: 放弃了PGXC架构中单体数据库的事务支持 在BigTable基础上构建了事务支持 引入分片机制,主要采用Range动态分片技术,跟HASH分片相比,数据可以不用固定的在某一个分片上

    1.6K21

    多账户日报自动化链路:从数据下载到企业微信推送

    如果靠人工逐个下载、逐个填表、逐个截图再发群,不仅慢,还极易出现张冠李戴——把A账户的数据贴到B账户名下。...同步本地Excel:本地Excel只做复制值的动作,把飞书里的数值搬过来,绝不反向修改飞书源数据——源数据只读,这是红线。自动出图:根据底表数值生成可视化的日报、时报图片。...时报有一个固定结尾语,且图片上的小时数会替换成实际报时,保证每张图对应当时真实时间点。企业微信推送:通过企业微信webhook把图片和文案推送到对应群。...四、写稿与填表的几条红线做了这么久,几条经验值得记下来:读数必须有页面证据:登录页、空白页、凭记忆的猜测值,都算未验证,不能直接用;源数据只读:飞书是源,本地Excel是副本,副本写错可以重来,源被改了就麻烦...五、这套链路能复用什么沉淀下来的不是某一天的数据,而是下载、合并、底表、本地、出图、推送这套可复制的动作模板。下次换一批账户、换一个业务线,只要把账户标识和底表结构替换掉,整条线就能直接跑起来。

    9100
    领券