首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Golang开发

    Redis(7)——慢查询

    查询日志就是系统在命令执行前后计算每条命令的执行时间,但超过预设阈值时,会将这条命令的相关信息(执行时间 执行耗时 命令的详细信息)记录下来。 设置慢查询时间阈值 slowlog-log-slower-than就是预设的阈值,单位是微妙 默认是10000微妙,如果超过阈值就会被记录在慢查询日志中,lowlog-log-slower-than = slowlog-max-len 慢查询日志最多存储多少条,redis 使用一个列表来存储慢查询日志,slowlog-max-len 就是列表最大长度 slowlog-log-slower-than OK 127.0.0.1:6379> config set slowlog-max-len 1000 OK 127.0.0.1:6379> config rewrite slowlog get 获取慢查询日志 slowlog get [n] 可选参数指定查询条数,慢查询日志由4个属性组成,分别是慢查询日志的id,执行命令的时间戳,执行命令的耗时,具体的执行命令和参数 1) (integer) 1104

    78920发布于 2019-05-29
  • 来自专栏PPV课数据科学社区

    情人节“”透:百度大数据图谱揭秘各地浪漫指数

    通过新鲜出炉的中国情人节大数据图谱——百度浪漫指数显示,截止到2月14日12:30分实时数据,北京、浙江、上海浪漫指数位居前三,其中,北京浪漫指数为169,浙江上海紧随其后。 ?    TOP10省市;同时,搜索“情人节”、“情人节怎么过最浪漫”等情人节相关词,搜索结果页右侧也会显示情人节大数据图谱的入口级排行榜。    不过,百度方面透露,浪漫指数排名会随着搜索量的增多发生实时、动态变化,如果有你的参与,说不定会让你的城市成为又一个浪漫之都。   此外,百度浪漫指数还出炉了“去哪儿吃饭?”“送什么礼物?” 对此,有业内人士指出,“互联网时代,大数据已成为最重要的资源之一。百度浪漫指数为网友展示了数据分析的好玩和新意。 通过对大数据的分享,让更多人洞察到数据之美,意识到数据的价值,并对个人生活和企业决策提供重要的驱动作用。”

    1.2K40发布于 2018-04-23
  • 来自专栏Java架构师必看

    大数查询分页显示

    微软的解决办法usingSystem;usingSystem.Data;usingSyst运维

    1.7K10发布于 2020-09-30
  • 来自专栏cwl_Java

    大数据-Hive查询语法

    查询语法 全表查询 select * from score; 选择特定列 select s_id ,c_id from score; 列别名 1)重命名一个列。 2)便于计算。 查询分数等于80的所有的数据 select * from score where s_score = 80; 查询分数在80到100的所有数据 select * from score where s_score between 80 and 100; 查询成绩为空的所有数据 select * from score where s_score is null; 查询成绩是80和90的数据 select * from 查询成绩大于80,并且s_id是01的数据 select * from score where s_score >80 and s_id = '01'; 查询成绩大于80,或者s_id 是01的数 select ;having针对查询结果中的列发挥作用,筛选数据。

    3.6K31发布于 2019-12-26
  • 来自专栏全栈程序员必看

    大数运算(7)——大数阶乘(求阶乘)

    对于大数来说,一个数的阶乘是非常大的,同样,一个int类型的整数,他的阶乘就有可能会很大。 就拿50来说,他的阶乘位数是65位,就已经远远超过了long long int类型的最大值。 对于大数问题,我们要有将大数与数组结合的思想,可以利用类似于人工求值的方法求出有关大数的问题。 对于大数阶乘来说,最重要的是如何将每个数的每位数与相对应的数组元素储存起来,就如算50的阶乘,我们要先从1开始乘: 1*2=2,将2存到a[0]中, 接下来是用a[0]*3; 2*3=6,将6储存在 , 接下来是用a[0]*3;a[1]*6+num;a[2]*6+num; 120*6=720,那么720%10==0存到a[0]中,720/10%10==2存到a[1]中,720/100==7存到

    2K21编辑于 2022-11-08
  • 来自专栏python3

    铁路查询系统

    start = True city_list =[] #用于存储一级菜单的列表(城市) xian_list =[] #用于存储二级菜单的列表(线路) print("\033[31;1m欢迎访问地铁查询系统 print("退出 \033[31;1mq\033[1m") #提示语句退出按q print("".center(36,"=")) # 生成分隔符 c_city=input("请选择你要查询的城市编号 033[31;1mq\033[1m") print("".center(36,"="))#分割线 c_xian = input("请选择你要查询的线路 :") #让用户输入查询的线路 print("".center(36,"="))#分割线 if c_xian == "b" or c_xian

    2.3K10发布于 2020-02-10
  • 来自专栏算法与编程之美

    日历查询系统

    我们可以简单的查询近期的日历,但是对于久远的年份,往往需要多花费一点时间,而我们又是否能够用python制作一个简单方便的日历查询系统,在输入年份和月份之后直接得出该月的日历呢? 1 问题 如何使用python程序建立一个日历查询系统? 2 方法 导入python自带的calendar日历模块 代码清单 1 import calendar print('欢迎使用日历查询系统:') Year = int(input("请输入要查询的年份: ")) Month = int(input('请输入要查询的月份:')) print(calendar.month(Year,Month)) 3 结语 针对如何用python程序对某个年份某个月的日历查询

    1.3K10编辑于 2023-09-18
  • 来自专栏AI那点小事

    算法训练 区间k大数查询

    接下来m行,每行三个数l,r,K,表示询问序列从左往右第l个数到第r个数中,从大往小第K大的数是哪个。序列元素从1开始标号。

    61710发布于 2020-04-20
  • 来自专栏大数据与微服务架构

    大数查询引擎Presto

    3、Cli 会不停地循环分批读取查询结果并在屏幕进行动态显示,直到查询结果完全显示完毕。 向Presto集群提交一个查询,其整个过程会经历4个阶段: 1、提交查询:客户端向Coordinator提供的RESTful服务提交SQL语句 2、生成查询执行计划:Coordinator根据传递的SQL 语句生成响应的查询执行计划 3、查询调度:Coordinator根据生成的查询执行计划,依次进行Stage和Task调度。 4、查询执行:最终Coordinator会调度最空闲的Worker执行相应的Task进行实际计算任务。 Presto队列是用于控制查询并发量和可接收的SQL数量,可针对用户、提交来源、Session等信息进行个性化配置。

    1.6K30发布于 2020-04-11
  • 来自专栏程序猿的栖息地

    Thinkpgp5.1根多条件和时间筛选查询数据,并导出Excel相应表格数据

    param string $fileName 文件名称 * @param array $headArr 表头名称 * @param array $data 要导出的数据 * @author static7

    1.5K20编辑于 2022-04-29
  • 来自专栏IT云清

    7.Elasticsearch请求体查询

    本文目录: - 请求体查询 - 空查询 - from 和size - 注意get请求 请求体查询 轻量搜索 —query-string search— 对于用命令行进行即席查询(ad-hoc 然而,为了充分利用查询的强大功能,你应该使用 请求体 search API, 之所以称之为请求体查询(Full-Body Search),因为大部分参数是通过 Http 请求体而非查询字符串来传递的。 请求体查询 —下文简称 查询—不仅可以处理自身的查询请求,还允许你对结果进行片段强调(高亮)、对所有或部分结果进行聚合分析,同时还可以给出 你是不是想找 的建议,这些建议可以引导使用者快速找到他想要的结果 空查询查询将返回所有索引库(indices)中的所有文档: GET /_search 查询people索引下的user类型的所有文档: GET people/user/_search 可以在一个、多个或者 这种带请求体的语言,方便我们使用Query DSL 来写查询语句。 下一篇:8.Elasticsearch查询表达式Query DSL

    84170发布于 2019-01-22
  • 来自专栏陶陶技术笔记

    大数据量查询容易OOM?试试MySQL流式查询

    其实在 MySQL 数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普通查询进行性能测试。 三、性能测试 创建了一张测试表 my_test 进行测试,总数据量为 27w 条,分别使用以下4个测试用例进行测试: 大数据量普通查询(27w条) 大数据量流式查询(27w条) 小数据量普通查询(10 测试大数据量普通查询 @Test public void testCommonBigData() throws SQLException { String sql = "select * from 测试大数据量流式查询 @Test public void testStreamBigData() throws SQLException { String sql = "select * from 查询耗时 10 条数据量用时 1 秒 ? 四、总结 MySQL 流式查询对于内存占用方面的优化还是比较明显的,但是对于查询速度的影响较小,主要用于解决大数据量查询时的内存占用多的场景。

    2.7K20发布于 2021-01-12
  • 来自专栏全栈程序员必看

    mysql子查询和连接查询(大数据联合计算)

    内连接可以没有连接条件: 没有on之后的内容,这个时候系统会保留所有结果(笛卡尔积) 内连接还可以使用where代替on关键字,但效率差很多。 不能直接使用,需要对查询语句使用括号才行;另外,要orderby生效: 必须搭配limit: limit使用限定的最大数即可. ** 三、子查询 ** 子查询: 查询是在某个查询结果之上进行的. 子查询: 子查询出现where条件中 Exists子查询: 子查询出现在exists里面 按结果分类: 根据子查询得到的数据进行分类(理论上讲任何一个查询得到的结果都可以理解为二维表) 标量子查询 : 子查询得到的结果是一行一列 列子查询: 子查询得到的结果是一列多行 行子查询: 子查询得到的结果是多列一行(多行多列) (1,2,3出现的位置都是在where之后) 表子查询: 子查询得到的结果是多行多列 FROM t11 WHERE name='科技') 列子查询 行子查询 表子查询 Exists子查询 参考文章:MySQL数据高级查询之连接查询、联合查询、子查询 发布者:全栈程序员栈长,转载请注明出处

    2.1K10编辑于 2022-07-30
  • 来自专栏小文网

    系统伪激活查询

    image.png 按住Win+R打开运行窗口,输入 slmgr.vbs -xpr 回车,查看电脑系统激活天数,查了下自己的电脑,发现是临时激活的。

    1.4K40发布于 2018-07-26
  • 来自专栏IT大咖说

    提升查询技能,这7条SQL查询错误必须解决

    本文将指出一些常见但却总是被忽略的错误,请静下心来,准备好提升查询技能吧! 让我们以一个虚构的业务为例。假设你是亚马逊电子商务分析团队的一员,需要运行几个简单的查询。 WHERE子句中使用了该列,这个查询结果会出现异常。 解决方法:这一问题可以通过使用临时表或者子查询解决。 现在,所有查询结果均为2019年的日期。 7.在GROUP BY语句后使用WHERE子句 在编写GROUP BY语句时,请注意WHERE子句的位置。 WHERE子句用于过滤查询结果,这一步要在将查询结果分组之前实现,而不是先分组再过滤。

    1.8K20发布于 2021-02-24
  • 来自专栏小赵Java总结

    大数据技术入门:impala查询引擎

    创作时间:2022 年 7 月 5 日 博客主页: 点此进入博客主页 —— 新时代的农民工 —— 换一种思维逻辑去看待这个世界 ---- 文章目录 一、概述 二、技术特性 三、功能特性 四 、Impala 工作原理 五、日常运维指令 ---- 一、概述 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据 已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。 ----来源于百度百科 Impala核心能力 Impala是性能最高的SQL引擎(提供类似RDBMS的体验),它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 使用类SQL查询访问数据。 Impala为HDFS中的数据提供了更快的访问。 可以将数据存储在Impala存储系统中,如Apache HBase和Amazon s3。

    1.1K20编辑于 2022-12-01
  • 来自专栏麒思妙想

    用中文进行大数查询

    我实现了一个简版的中文查询的DSL,下面我们通过一个实例,来讲解一下这个DSL,以及他是如何实现的! 实例 从技术上讲,这也是一门DSL,只是用中文来做了关键字。 ,这其实是在构建一个查询对象,在这个查询对象的作用域内,本次代表当前的查询。 现在支持的查询谓词: 表、字段、条件、聚合、排序、截取 支持的动作谓词: 画(线图、饼图、表)、转 (CSV、HTML、JSON) 其他: 组、到 表:用来设置查询的表,输入 表名,必填属性,需要使用双引号括起来 字段:用来设置查询字段,输入 表名.字段名 ,必填属性,需要使用双引号括起来。可与组联用。 条件:用来设置查询条件表达式,暂时只能将所有条件一起输入, 可选属性,需要使用双引号括起来。 聚合:用来设置查询的聚合字段,输入 表名.字段名, 可选属性,需要使用双引号括起来。可与组联用。 排序:用来设置查询的排序字段,输入 表名.字段名, 可选属性,需要使用双引号括起来。可与组联用。

    1.2K30发布于 2020-07-10
  • 来自专栏大数据与微服务架构

    大数据分析查询引擎Impala

    一、Impala概述 准实时分析系统Impala,提供SQL语义,能够为存储在Hadoop的HDFS和Hbase中的PB级大数据提供快速、交互式的SQL查询。 传统仓库查询工具Hive底层是基于MapReduce引擎处理,是一个批处理过程,难以满足快速响应的查询,而Impala是基于MPP的查询系统,最大特点就是快速。 二、Impala组件构成 ? 4、HBase和HDFS: 存储用于查询的数据。 三、Impala 系统架构 Impala整体分为两部分 StateStore 和 Impalad。 ,在Impala架构中,每个Impala节点都可以接收来自客户端的查询请求,然后负责解析查询,生产查询计划,并进行优化,协调查询请求在多个impalad上并行处理,最终有负责接收请求的impala节点汇总结果 4、Impala适合用来处理输出数据适中或比较小的且对响应时间有要求的查询,而对于大数据量的批处理任务,MapReduce依然是更好的选择。

    2.8K10发布于 2020-04-11
  • 来自专栏java开发的那点事

    Activiti7 查询用户任务列表

    org.activiti.engine.runtime.ProcessInstance; import org.activiti.engine.task.Task; import java.util.List; /** * 查询当期用户任务的列表 taskService = defaultProcessEngine.getTaskService(); // 3:根据流程定义的Key,负责人assignee来实现当前用户的任务列表的查询

    1.6K21发布于 2020-09-30
  • 来自专栏PPV课数据科学社区

    大数据专家:大数7大最奇特应用

      在客户体验与库存管理流程方面,大数据通常会发挥重要作用。近来,我盘点了7个最有趣、最独特的大数据应用,以及它们可能对我们的生活产生的影响。    1.大数据广告牌   户外营销公司Route正使用大数据在广告牌、长椅以及公交车两侧的广告空间上设定定价模式。 7.大数据胸罩   True&Co 网站正利用大数据帮助女性寻找号码更合适的胸罩。统计数据显示,大多数女性都戴错了胸罩的号码,为此这家网站试图帮助解决这个问题。 利用大数据的可能性是无穷无尽的,我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗? ★每日一题(答案次日公布) 昨日Q40 答案:B Q41. 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、

    1.2K50发布于 2018-04-20
领券