有朋友在微信公众号的后台发消息提问:怎么同时对两列合并的文本进行逆透视?...看图: 逆透视是多列(列名)都逐个放到行里变明细数据哦,而上面想要的结果列和原始数据的列是一毛一样的,只是要把列里面的内容拆分、配对展开…… 数据简化模拟如下:...1、不能拆分到行:因为要分别对两列的内容进行拆分且找配对关系,先拆任何一列都会使配对关系丢失; 2、不能拆分到列:因为要拆分的内容的项数是不固定的。...Step 02:添加自定义列,把两列拆分出来的内容直接拉到一起 内容配对好后,就可以层层展开了…… - 3 - 内容展开 Step 03:第一次展开,扩展到新行(因为不同的配对内容是要拆到多个行的...) Step 04:第二次展开,提取值(因为配对好的内容本身是要在同一行里的,分隔符按需要选择即可,后面拆分列时用,这里选择空格) Step 05:提取出来后,再按前面选择的分隔符简单分列即可
大海:那用Power Query处理起来也不复杂,关键点在于怎么能保证数据增加的时候,能动态地生成多列的列名。...Step 01 添加索引列(用于保证操作后每行数据的顺序) Step 02 按分隔符逗号拆分到行 Step 03 继续按分隔符左括号“(”拆分到行 Step 04 替换掉不需要的右括号“)” Step...05 分组并修改步骤代码生成各组数据的索引,用于做标题行 Step 06 展开数据后进行透视 小勤:两次分列到行的操作很赞啊!...我原来想着一次分列到行,然后就直接分成多列,结果想做透视的时候就懵了,正想着怎么能实现多列同时透视呢。 大海:PQ里的透视只支持对一列(值)进行,而不支持将多列同时透视到同一个标题(列名)下的。...因为每列都必须有明确的列名。 小勤:对的。通过这个例子我知道像这种情况该怎么做了。
避免使用NULL字段 NULL字段很难查询优化 NULL字段的索引需要额外空间 NULL字段的复合索引无效 少用text/blob varchar的性能会比text高很多 实在避免不了blob,请拆表...where age +1 = 10; 不用外键,请由程序保证约束 sql语句尽可能简单 一条sql只能在一个cpu运算 大语句拆小语句,减少锁时间 一条大sql可以堵死整个库 简单的事务,事务时间尽可能短...避免使用trig/func 触发器、函数不用 客户端程序取而代之 避免负向% limit高效分页,limit越大,效率越低 少用连接join 库名,表名,列名必须用小写,采用下划线分隔...abc,Abc,ABC都是给自己埋坑 库名,表名,列名必须见名知义,长度不要超过32字符 tmp,wushan谁TM知道这些库是干嘛的 建议将大字段,访问频度低的字段拆分到单独的表中存储,分离冷热数据...禁止在where条件列使用函数或者表达式 禁止大表JOIN和子查询
老板要的是“每个分类赚了多少、哪类利润率最高”,手动拆 1908 行、做 11 张格式一致的表、再算汇总,半天起步,还容易错。...“未分类”确认列名与实际文件一致:商品名称、商品条码、规格、单位、商品分类、销售数量、实收金额、利润、利润率、商品供应商。...标题行不加边框。表头行(第二行):只放置以下列名(按此顺序):序号、商品名称、商品条码、规格、单位、商品分类、销售数量、实收金额、利润、利润率、商品供应商。...表头行水平居中、垂直居中,字体加粗,添加实线边框。数据行(第三行及以下):只展示上述列对应的数据,所有单元格水平居中、垂直居中,添加实线边框。...合计行水平居中、垂直居中,字体加粗,添加实线边框。合计行不设置颜色标识。
那么是否可以简化,实现以下效果:物流中心在收到供应商货品时,并不将货品上架,而是每箱按照分货单直接分到店铺?...直接拆箱分到店铺 这种操作方式叫做越库。...[数量]}添加自定义列将两个查询中的数量全部展开为1,装箱单行数与分货单行数即可保持一致,即行数都等于货物的数量。这也是本文唯一使用的复杂公式。 {1.....[数量]} 展开上述自定义列后,再次添加自定义列,数值都为1即可,这里对原数量拆分到了多行。 分拆行的查询 3....装箱单排序 分货单排序 两个查询分别添加索引列,并按索引将两个查询合并,合并后的查询在装箱单界面只展开“店铺”列。 添加索引 按索引合并查询 展开店铺列 4.
pdpipe的出现极大地对数据分析过程进行规范,其主要拥有以下特性: 简洁的语法逻辑 在流水线工作过程中可输出规整的提示或错误警报信息 轻松串联不同数据操作以组成一条完整流水线 轻松处理多种类型数据 纯Python...2.2 pdpipe中的重要子模块 pdpipe中的API按照不同分工被划分到若干子模块,下面将针对常用的几类API展开介绍。...,默认为None func_desc:str型,可选参数,为你的函数添加说明文字,默认为None 下面我们来举例演示帮助理解上述各个参数: 针对单个列进行计算 pdp.AggByCols(columns...图14 设置drop参数为False,并将suffix参数设置为'_log': # 设置drop参数为False,并将suffix参数设置为'_log' pdp.AggByCols(columns...图15 可以看到这时原有列得以保留,新的列以旧列名+后缀名的方式被添加到旧列之后,下面我们修改result_columns参数以自定义结果列名: # 设置drop参数为False,并将suffix参数设置为
2.2 pdpipe中的重要子模块 pdpipe中的API按照不同分工被划分到若干子模块,下面将针对常用的几类API展开介绍。...:str或list,与columns参数一一对应的结果列名称,当你想要自定义结果新列名称时这个参数就变得非常有用,默认为None func_desc:str型,可选参数,为你的函数添加说明文字,默认为None...参数为False,并将suffix参数设置为'_log': # 设置drop参数为False,并将suffix参数设置为'_log' pdp.AggByCols(columns='budget',...,新的列以旧列名+后缀名的方式被添加到旧列之后,下面我们修改result_columns参数以自定义结果列名: # 设置drop参数为False,并将suffix参数设置为'_log' pdp.AggByCols...,因此只能形成一列返回值),默认为'new_col' follow_column:str型,控制结果列插入到指定列名之后,默认为None,即放到最后一列 func_desc:str型,可选参数,为你的函数添加说明文字
现在,在手动检查了csv之后,我知道列名在第一行中,因此在我的第一次迭代中,我必须将第一行的数据存储在 col中, 并将其余行存储在 data中。...逻辑 这里的主要逻辑是,我使用readlines() Python中的函数在文件中进行了迭代 。此函数返回一个列表,其中包含文件中的所有行。...对于第一次迭代,我将存储第一行,其中包含列名的列表称为 col。然后,我会将所有数据附加到名为data的列表中 。...哦,它已跳过所有具有字符串数据类型的列。怎么处理呢? 只需添加另一个 dtype 参数并将dtype 设置 为None即可,这意味着它必须照顾每一列本身的数据类型。不将整个数据转换为单个dtype。...比第一个要好得多,但是这里的“列”标题是“行”,要使其成为列标题,我们必须添加另一个参数,即 名称 ,并将其设置为 True, 这样它将第一行作为“列标题”。
如果按照Excel的操作习惯,当然是先拆分列,然后逆透视…… 这个6,鼠标点点,一气呵成…… 不过,这有个小问题,拆分列的时候,Power Query会按照拆分出来的最大列数给出固定的列名...,比如这个动画例子里的客户经理,现在数据里最多的只有3个,那么拆分出来最多3列,列名被固定为“客户经理.1”、“客户经理.2”、“客户经理.3”,所以,如果后面有新的数据进来,客户经理更多了,就得不到完整的结果了...Text.Split将内容拆分成List,然后对List进行展开,这样,就能够确保后续在数据增加的情况下,仍然得到完整的结果,如下所示: 这个66,不过这有点儿太麻烦了,又要增加自定义列,...又要函数,还要展开数据…… - 方法 3 - 实际上,这个问题在Power Query里非常简单,因为,进行拆分时候,点开“高级选项”,你会发现,拆分列可以直接拆分到行!...拆分到行!!拆分到行!!!
index_col:指定哪一列作为行索引。默认为None,表示不设置行索引。可以是整数(表示第几列)或列名。 usecols:指定要读取的列范围。可以是整数(表示第几列)或列名列表。...squeeze(可选,默认为False):用于指定是否将只有一列的数据读取为Series对象而不是DataFrame对象。 prefix(可选,默认为None):用于给列名添加前缀。...header:指定表格的表头行,默认为0,即第一行。 index_col:设置作为索引列的列号或列名,默认为None,即不设置索引列。 skiprows:指定要跳过的行数。...也可以自己指定需要保存的列名列表 header:是否保存列名,默认为True index:是否保存行索引,默认为True index_label:行索引列的列名,默认为None mode:文件打开模式,...保存列名,数据从第3行第2列开始,合并单元格,使用utf-8编码,使用pandas的默认引擎。
添加和删除列 添加列 就像在 Excel 等电子表格中一样,你可以添加一个新列,该列可能是从现有列或特征创建的。要在 Mito 中执行此操作,只需单击“Add Col”按钮。...该列将添加到当前选定的列旁边。最初,列名将是一个字母表,列的所有值都为零。 编辑新列的内容 单击新列名称(分配的字母表) 将弹出侧边栏菜单,你可以在其中编辑列的名称。...要更新该列的内容,请单击该列的任何单元格,然后输入值。你可以输入一个常量值,也可以根据数据集的现有特征创建值。如果要从现有列创建值,则直接使用要执行的运算符调用列名。...要使用 Mito 创建这样的表, 单击“Pivot”并选择源数据集(默认加载 CSV) 选择数据透视表的行、列和值列。还可以为值列选择聚合函数。...通常,数据集被划分到不同的表格中,以增加信息的可访问性和可读性。合并 Mitosheets 很容易。 单击“Merge”并选择数据源。 需要指定要对其进行合并的键。
本文介绍基于Python语言,基于Excel表格文件内某一列的数据,计算这一列数据在每一个指定数量的行的范围内(例如每一个4行的范围内)的区间最大值的方法。 ...已知我们现有一个.csv格式的Excel表格文件,其中有一列数据,我们希望对其加以区间最大值的计算——即从这一列的数据部分(也就是不包括列名的部分)开始,第1行到第4行之间的最大值、第5行到第8行的最大值...在每个分组内,我们从column_data中取出这对应的4行数据,并计算该分组内的最大值,将最大值添加到max_values列表中。最后,函数返回保存了每个分组最大值的列表max_values。 ...其次,我们通过excel_file指定输入的文件路径,通过column_name指定要处理的列名,随后即可调用calculate_max_every_eight_rows函数,并将返回的结果保存到result...可以看到,结果列中第1个数字,就是原始列中前4行的最大值;结果列中第3个数字,则就是原始列中第9行到12行的最大值,以此类推。
一份到货分货条件,当该款货品到货12件以内时,只分到一家店铺;到货12-24件时分到2家店铺,以此类推。...1.将订单、分货级别和分货基础原则(店铺区间)导入Power Query 导入数据 2.对订单进行分拆 分拆的步骤可直接使用交互界面,为说明前后顺序,我使用高级编辑器对关键环节添加了注释(见"//"行...= Table.RemoveColumns(分货店铺数,{"订单数量"}), //逆透视列,将尺码变为竖排 逆透视列 = Table.UnpivotOtherColumns(删除的列,...这个货订单47件,按照条件优先分给了前4家店铺;并且A店分到的数量最多。...1)分货过于扁平化,A店尽管分到数量多,但是和D店区别不大。 2)没有考虑消费特性,全部按照从A店开始分。
上述三个函数的结果都一样,可以更改列名使得列名中不含有空格: ? 最后,如果你需要在列名中添加前缀或者后缀,你可以使用add_prefix()函数: ?...我们以生成器表达式用read_csv()函数来读取每个文件,并将结果传递给concat()函数,这会将单个的DataFrame按行来组合: ? 不幸的是,索引值存在重复。...我们可以使用sample()函数来随机选取75%的行,并将它们赋值给"movies_1"DataFrame: ?...我们将会使用str.split()函数,告诉它以空格进行分隔,并将结果扩展成一个DataFrame: ? 这三列实际上可以通过一行代码保存至原来的DataFrame: ?...这里有两列,第二列包含了Python中的由整数元素组成的列表。
更改列名 让我们来看一下刚才我们创建的示例DataFrame: ? 我更喜欢在选取pandas列的时候使用点(.),但是这对那么列名中含有空格的列不会生效。让我们来修复这个问题。...'}, axis='columns') 使用这个函数最好的方式是你需要更改任意数量的列名,不管是一列或者全部的列。...最后,如果你需要在列名中添加前缀或者后缀,你可以使用add_prefix()函数: ? 或者使用add_suffix()函数: ?...我们以生成器表达式用read_csv()函数来读取每个文件,并将结果传递给concat()函数,这会将单个的DataFrame按行来组合: ? 不幸的是,索引值存在重复。...按列从多个文件中构建DataFrame 上一个技巧对于数据集中每个文件包含行记录很有用。但是如果数据集中的每个文件包含的列信息呢?
DataFrame上最常见的操作之一是重命名(rename)列名称。 分析人员重命名列名称的动机之一是确保这些列名称是有效的Python属性名称。...可以将Python列表赋值给索引和列属性。...当列表具有与行和列标签相同数量的元素时,此赋值有 以下代码就显示了这样一个示例 从CSV文件中读取数据,并使用index_col参数告诉Pandas将movie_title列用作索引。...index_col="movie_title" ids = movies.index.to_list() columns = movies.columns.to_list() # 使用列表赋值重命名行和列标签...该函数接收一个列名称并返回一个新名称。假设列中有空格和大写字母,则此代码将清除它们。
第一时间接收最新Python干货! SQL是一个存活近半个世纪的语言,如今仍有大量人在使用。它语法简单,对培养数据整理和提取的思维有很大帮助。...表外创建 ALTER TABLE students ADD CONSTRAINT fk_tb2_tb1 FOREIGN KEY tb2(info) REFERENCES tb1(nid); 修改表属性 # 添加列...: ALTER TABLE 表名 ADD 列名 类型 # 删除列: ALTER TABLE 表名 DROP COLUMN 列名 # 修改列: ALTER TABLE 表名 MODIFY COLUMN...列名 类型; 一般只改类型 ALTER TABLE 表名 CHANGE 原列名 新列名 类型; 可改列名+类型 # 添加主键: ALTER TABLE 表名 ADD PRIMARY KEY(列名...); # 删除主键: ALTER TABLE 表名 DROP PRIMARY KEY; ALTER TABLE 表名 MODIFY 列名 INT, DROP PRIMARY KEY; # 添加外键
rename()方法改列名是最灵活的方式,它的参数是字典,字典的 Key 是原列名,值是新列名,还可以指定轴向(axis)。 ? 这种方式的优点是可以重命名任意数量的列,一列、多列、所有列都可以。...以上这三种方式都可以更改列名。 用 add_prefix 与 add_suffix 函数可以为所有列名添加前缀或后缀。 ? ? 4. 反转列序 反转 drinks 表的顺序。 ?...使用 sample()方法随机选择 75% 的记录,并将之赋值给 moives_1。 ? 使用 drop() 方法删掉 movies 里所有 movies_1,并将之赋值给 movies_2。 ?...通过赋值语句,把这两列添加到原 DataFrame。 ? 如果想分割字符串,但只想保留分割结果的一列,该怎么操作? ? 要是只想保留城市列,可以选择只把城市加到 DataFrame 里。 ?...使用透视表,可以直接指定索引、数据列、值与聚合函数。 设置 margins=True,即可为透视表添加行与列的汇总。 ? 此表显示了整体幸存率,及按性别与舱型划分的幸存率。
存在传递依赖:员工ID → 部门ID → 部门信息 数据冗余:研发部名称重复存储 更新异常:修改部门所在地需要更新多条记录 2.联合查询 2.1 概述 使用场景:在数据设计时由于三大范式的要求,数据被拆分到多个表中...2 3 Python班 笛卡尔积生成的结果集可能包含无效或冗余数据。...若某行在另一表中有匹配,则显示匹配值 2.4 自连接 使用场景:实现行与行之间的比较 定义:自连接(Self Join)是SQL中的一种特殊连接操作,指同一张表通过别名(as)模拟成两张表,将行与行之间的关系转换为列与列之间的关系...)的子查询,主查询将子查询结果作为标量值使用 基础语法: select 列名 from table1 where 列名 = (select 列名 from table2...); 示例:查询张三的数学成绩...,列名不影响 基础语法1: select col_1,col_2 ... from table_1 union sekect col_1,col_2 ... from table_2; 自动去除重复行
不用学Python,不用记公式,说人话就可以办到。 Part.01 Excel数据超过一万行时就有卡点 Excel在数据量小的时候很好用,几十行的汇总表,排序筛选数据透视,顺手得很。...WorkBuddy干的事: 第一步,自己读文件,检查列名、数据类型、缺失情况。报给我说日期列格式不统一,有些是"2026/3/15",有些是"2026-03-15",还有写"20260315"的。...有个坑提前说一下,列名别用中文括号。我有次一列叫"发货日期(实际)",读出来括号变成了乱码。 第二步,说清楚你要什么。 别觉得要写什么复杂的提示词。...现在自己就能搞定,想怎么拆维度就怎么拆。 说点实在的 Part.06 WorkBuddy不是神器。它就是又一个工具。 但它在数据分析这件事上确实做到了一点:把门槛压得很低。...不用学Python,不用记代码,不用管pandas是什么东西。你只要知道自己想从数据里看出什么就行。 这件事对物流货代特别有意义。