- 综合排序
- 最热优先
- 最新优先
- 来自专栏侯哥的Python分享
MySQL运维7-Mycat水平分表
一、水平分表场景 在业务系统中，有一张日志表，业务系统每天都会产生大量的日志数据，单台服务器的数据存储即处理能力是有限的，可以对数据库表进行拆分，这时候就可以使用水平分表的策略 说明1：水平分表 ，每个表的结构一致 说明2：水平分表，每个表的数据不同 说明3：水平分表，所有表的合集才是完整的数据 二、准备工作 在192.168.3.90，192.168.3.91，192.168.92 schema.xml已经配置过其他的schema，dataNode等标签都不用动，直接新增我们本次案例需要的就行了，多个标签只要不冲突是可以并存的 说明2：逻辑库为hl_logs 说明3：逻辑表为 说明6：分片规则使用的是 rule="mod-long" 规则，该规则在rule.xml有定义如下 说明7：继续看 function 中 mod-long 的定义 说明8：这里的count 3的意思是 首先重启Mycat 登录Mycat 查看逻辑库和逻辑表 这里的tb_logs只是逻辑库，而在MySQL中还并没有tb_logs这个表，需要在Mycat中创建 create table
70611编辑于 2023-12-18 - 来自专栏VBA 学习
VBA一维表转二维表
前面说过了二维表转一维表，现在来看看一维表转二维表。 1、需求： 将1个一维表格转换为二维表格： ? 2、实现方法： 数据透视表 要实现这个方法，其实熟练数据透视表的处理起来是非常的简单的： ? VBA代码实现 使用VBA代码来实现自然也是没有问题的，使用字典来分别记录行和列的序号,然后输出到1个二维数组就可以： Sub TarnsTable2() Dim drow As Object
2.2K30发布于 2020-07-28 - 来自专栏VBA 学习
VBA二维表转一维表
1、需求： 将1个二维表格转换为方便数据统计的一维表格： ? 3、代码实现 这个功能的逻辑还是挺简单的，2个循环就可以覆盖数据所有的范围，然后输出到1个二维数组，主要是要注意计算数组的下标： Sub TarnsTable() On Error GoTo
2.1K30发布于 2020-07-28 - 来自专栏公众号PowerBI大师
一维表、二维表那些事
今天想谈谈一维表和二维表 这两样如果搞不清，数据清洗时仍然会陷入事倍功半的泥潭 什么是二维表？ 看下图，确定一个数值，必须通过行列两个条件去定位，这是二维表最显著的特征 ? 那什么是一维表呢？ ，就是二维表；仅靠单行就能锁定全部信息的，就是一维表 当然，一维表、二维表可以相互转换 一维转二维用透视表，反之用逆透视 我们把一维表称为源数据，特点是数据丰富详实，适合做流水账，方便存储，有利于做统计分析 一维表显然不适合人类阅读，想了解汇总信息，只能通过透视功能转换为二维表。一维表信息越详实，二维表可展示的方式就越灵活 ? ? ? 这里就举个小示例，演示一下行列都有合并单元格的情况下，如何二维转一维 链接：https://pan.baidu.com/s/1p7OfC3-BkqpYw74pbzj0YA 提取码：g3j2 ? 7、首行提升为标题，逆透视 将第一行提升为标题。选取前四列，点击“逆透视其他列” ? ? 8、拆分列 将之前的合并列拆分，还原成两列 ? ? ?
5.5K22发布于 2020-05-27 - 来自专栏用户8950297的专栏
一维表和二维表，透视及逆透视
大海：嗯，一维表和二维表的概念了解吗？ 小勤：好像是算知道的，一个一对一，一个一对多？ 首先，关于一维表和二维表、透视和逆透视，我先做个简单的例子给你们看一下。 大海：其实，所谓透视，就是从一维表到二维表（甚至更多维度）形成交叉汇总的过程；相反，从二维表向一维表的过程就是逆透视。 比如可以练一下没有PQ的时候，用数据透视做逆透视的方法，具体参考案例《二维表转一维表用多重数据透视？弱爆了！》，体会一下两者之间的差别和优缺点。
1.3K20发布于 2021-08-30 - 来自专栏Flink实战剖析
flink维表关联系列之Hbase维表关联：LRU策略
维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 在Flink中做维表关联时，如果维表的数据比较大，无法一次性全部加载到内存中，而在业务上也允许一定数据的延时，那么就可以使用LRU策略加载维表数据。 但是如果一条维表数据一直都被缓存命中，这条数据永远都不会被淘汰，这时维表的数据已经发生改变，那么将会在很长时间或者永远都无法更新这条改变，所以需要设置缓存超时时间TTL，当缓存时间超过ttl，会强制性使其失效重新从外部加载进来 接下来介绍两种比较常见的LRU使用: LinkedHashMap LinkedHashMap是双向链表+hash表的结构，普通的hash表访问是没有顺序的，通过加上元素之间的指向关系保证元素之间的顺序， 可配置淘汰策略 非常适用于Flink维表关联LRU策略，使用方式： cache = CacheBuilder.newBuilder() .maximumSize(1000
1.6K21编辑于 2022-04-18 - 来自专栏VBA 学习
常用功能加载宏——二维表转一维表
#13;" size="large" imageMso="TableSummarizeWithPivot"> <button id="rbbtnTarnsTable2To1" label="二<em>维</em><em>表</em>转一<em>维</em><em>表</em>
94941发布于 2020-07-28 - 来自专栏Flink实战剖析
flink维表关联系列之kafka维表关联：广播方式
维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 广播状态用于维表关联 如果需求上存在要求低延时感知维表数据的更新，而又担心实时查询对外部存储维表数据的影响，那么就可以使用广播方式将维表数据广播出去，既能满足实时性、又能满足不对外部存储产生影响，仍然以用户行为规则匹配为例 broadcastStateDesc).put(value.actionType,value) } }) env.execute() 以上就是简易版使用广播状态来实现维表关联的实现 ，由于将维表数据存储在广播状态中，但是广播状态是非key的，而rocksdb类型statebackend只能存储keyed状态类型，所以广播维表数据只能存储在内存中，因此在使用中需要注意维表的大小以免撑爆内存
1.4K31编辑于 2022-04-18 - 来自专栏数据STUDIO
MySQL高频面试题：一维表转二维表
本文所用的表信息 学生表stu 字段名 数据类型 约束条件 s_id varchar(10) primary key s_name varchar(10) not null s_birth date varchar(10) c_id varchar(10) score int 面试题 查询所有学生的课程及分数情况 分析，课程与分数情况，用到学生表及成绩表，两张表都是一维表，将其转化为右图所示的二维表 *,c_id,score FROM stu LEFT JOIN sc ON stu.s_id=sc.s_id; 第二步，将上面得到的结果转换为二维表 ? 成绩表。" 以如下形式显示：课程ID，课程name，最高分，最低分，平均分，及格率，中等率，优良率，优秀率，及格为：>=60，中等为：70-80，优良为：80-90，优秀为：>=90 分析，从需要显示的列看出需要用到课程表和成绩表
1.4K30发布于 2021-06-24 - 来自专栏VBA 学习
常用功能加载宏——一维表转二维表
实现了二维表格转换为一维表格，反过来的功能偶尔也是会用到的： 首先在customUI.xml中增加代码： <button id="rbbtnTarnsTable1To2" label="一<em>维</em><em>表</em>转二<em>维</em><em>表</em>
1.1K20发布于 2020-07-28 - 来自专栏Flink实战剖析
flink维表关联系列之Redis维表关联：实时查询
在做维表关联如果要求低延时，即维表数据的变更能够被立刻感知到，所以就要求在查询时没有缓存策略，直接查询数据库维表信息。 clientId1,1,1571646006000 输出： AdData(1,1,clientId1,1,1571646006000) AdData(0,3,clientId1,1,1571646006000) 验证完毕，也算是补上维表系列里面的空缺
2.3K31编辑于 2022-04-18 - 来自专栏Python与算法之美
7，一维Series
pandas中常用的数据结构有： 1，Series：一维数组，有index。Series中只允许存储同种类型数据。 2，DataFrame：二维的表格型数据结构。 3，Panel ：三维的数组。可以理解为DataFrame的容器。 你发现 pandas库的名字和这三种数据结构名字的关系了吗？本节我们介绍Series。 Series概要如下： Series可以看成是一个一维的附加了索引的array。 Series非常像一个有序的字典，index相当于键。 Series可以使用时间序列索引和多层级索引。
68530发布于 2020-07-20 - 来自专栏Flink实战剖析
flink维表关联系列之维表服务与Flink异步IO
维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 一、维表服务 维度或者是维表概念熟知应该从数据仓库维度建模开始了解的，区别于事实表业务真实发生的数据，通常用来表示业务属性，比喻订单业务中，商品属性、商家属性都可以称之为维度表。 在flink 流处理实时分析中或者实时数仓中，同样需要使用维表来完成一些数据过滤或者字段补齐操作，但是我们所需要的维度数据通常存储在Mysql/Redis/Hbase/Es这样的外部数据库中，并且可能是会随时变动的 ，根据业务要求数据的时效性，需要不同程度的感知维表数据的变化，在实际使用中常常会有以下几种方案可供选择： 在维度数据量比较小并且业务要求的时效性不高，可以定时全量加载维度数据到内存中，直接从内存中查询维度数据
1K30编辑于 2022-04-18 - 来自专栏Flink实战剖析
flink维表关联系列之Mysql维表关联：全量加载
维表关联系列目录: 一、维表服务与Flink异步IO 二、Mysql维表关联：全量加载 三、Hbase维表关联：LRU策略 四、Redis维表关联：实时查询 五、kafka维表关联：广播方式 六、自定义异步查询 在维表关联中定时全量加载是针对维表数据量较少并且业务对维表数据变化的敏感程度较低的情况下可采取的一种策略，对于这种方案使用有几点需要注意： 全量加载有可能会比较耗时，所以必须是一个异步加载过程 内存维表数据需要被流表数据关联读取 、也需要被定时重新加载，这两个过程是不同线程执行，为了尽可能保证数据一致性，可使用原子引用变量包装内存维表数据对象即AtomicReference 查内存维表数据非异步io过程 具体实例：广告流量统计， ，给用户发出警告 维表全量加载是在每个task里面执行，那么就会导致每个task里面都有一份全量的维表数据，可采取优化方式是在维表关联前根据关联字段做keyBy操作，那么就会根据关联字段hash然后对并行度取余得到相同的值就会被分配到同一个 task里面，所以在加载维表数据的时候也可以在每个task加载与其对应的维表数据， 就可以减少加载的数据量。
3K20编辑于 2022-04-18 - 来自专栏全栈程序员必看
维表拉链表案例_维善优案例
一.数据准备 下表为分区增量数据表(userinfo) 创建表加载数据 用户信息 create table test.userinfo( userid string comment 用户信息' partitioned by(dt string) row format delimited fields terminated by ','; 拉链表(存放用户历史信息) 拉链表不是分区表: set serdeproperties('field.delim'=','); 向中间表中加入数据 load data local inpath '/data/userinfo.dat' overwrite into table test.tmp1; 从中间表向分区表加载数据 set hive.exec.dynamic.partition.mode=nonstrict; insert into table -21 9999-12-31 005 13552222222 2020-06-21 2020-06-21 9999-12-31 Time taken: 3.148 seconds, Fetched: 7
43520编辑于 2022-11-03 - 来自专栏数据小魔方
excel数据转置——一维表与二维表之间的转化！
今天跟大家分享excel数据转置——一维表与二维表之间的转化！ 选择性粘贴仅仅是把行列互换了 显然并没有改变数据显示的维度 也就是说选择性粘贴转来换去 表格一维仍然是一维 二维仍然是二维 但是使用上述插件工具转化后 大家可以明确的发现 数据已经确确实实从二维表转化为一维表了 一维表的典型特征： 列代表属性 行代表记录 因而同一列中会有重复记录 我们在数据采集环节 接触到的原始数据更多的是一维表 即列代表属性、行代表记录 ●●●●● 下面对比一下Eviews、SPSS、Stata 等主流的数据分析软件界面 以及一些主流的数据库产品 默认的都是列代表属性 行代表记录 SPSS22界面 stata12界面 Eviews9.0界面 因此在数据整理的时候 不要随便将一维表转化为二维表 或者务必要保存原始一维表数据 在新的工作表中再生成二维表 以防一维表丢失之后 想要再转化回来就需要费些功夫了 其实一维表与二维表之间的转化 数据透视表也可以轻松做到 但是需要对数据透视表有些基本了解 以后会出数据透视表的教程
5.7K50发布于 2018-04-10 - 来自专栏PowerBI入门100例
1.9 PowerBI数据准备-逆透视，将二维表或多维表转换为一维表
一维表每一行都是描述一个事物的一次性产生的完整属性信息，便于存储数据和后期计算、汇总；二维表直观易读，便于展示数据，不利于后期计算、汇总。 一维表通过透视可以生成二维表；二维表通过逆透视可以还原成一维表。PowerBI中获取数据后生成的表，一般使用一维表，方便建立表与表之间的关系、书写度量值、生成透视表或图表。 因此，很多时候需要在PowerQuery中将二维的甚至更多维的数据源表转换为一维表。举例1二维表转一维表，年月横向展开的。 图片举例2多维表转一维表，多层表头+多列维度。 STEP 7 选中合并的那一列，点击菜单栏转换下的拆分列-按分隔符，选择自定义，输入前面使用的分隔符“**”。STEP 8 修改字段的名称和数据类型，就得到一维表了。
1.8K10编辑于 2025-02-21 - 来自专栏java开发的那点事
Activiti7 表介绍
由于Activiti自生成的表较多，这里先对activiti自生成数据库表进行介绍。 数据库表的创建在后续的demo文章中进行介绍，并且后续会写一篇关于数据库详解的文章，这里先大概知道Activiti库表的分类以及其作用。 如下图所示，是Activiti7自生成的25张数据表。 ? 数据库表的命名规则 Activiti的表都以act_开头，第二部分是表示表的用途的两个字母缩写标识，用途也和服务的API对应。 ? 数据表分类 通用数据(act_ge_*) ?
1.6K41发布于 2020-09-30 - 来自专栏VBA 学习
VBA与数据库——简化程序编写-一维表转二维表
在一维表转二维表里介绍了使用字典来转换表格的方法，可以看到使用字典的方法代码量还是有一点多的，有点复杂。
1.1K30发布于 2021-07-20 - 来自专栏机器学习/数据可视化
pandas系列7-透视表和交叉表
透视表pivot_table是各种电子表格和其他数据分析软件中一种常见的数据分析汇总工具。 根据一个或者多个键对数据进行聚合 根据行和列上的分组键将数据分配到各个矩形区域中 一文看懂pandas的透视表 Pivot_table 特点 灵活性高，可以随意定制你的分析计算要求 脉络清晰易于理解数据 操作性强，报表神器 参数 data: a DataFrame object，要应用透视表的数据框 values: a column or a list of columns to aggregate， 关于pivot_table函数结果的说明： df是需要进行透视表的数据框 values是生成的透视表中的数据 index是透视表的层次化索引，多个属性使用列表的形式 columns是生成透视表的列属性 Crosstab 一种用于计算分组频率的特殊透视表。
1.8K11发布于 2021-03-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号