首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据计算

    万亿是真地吗?比 ORACLE 快 N 倍是不是吹牛?

    我们经常听到大数据产品宣传自己性能好,“万亿”是个常见的说法,大概意思就是上万亿行数据中找出查出满足条件的数据,可以级返回。这是真地吗?看过“1T数据有多大”,那期的同学大概都会觉得不可能。 万亿行数据,得有几十上百 T 了,想级处理,岂不是得要几万几十万块硬盘,这不太现实。其实不然,并不一定意味着全遍历。 嗯,这件事,万亿行上想是不太现实了,但针对 TB 级数据却是可能的。 因为这个运算是个乘法级的复杂度,总计算量是 10*50 万 *50 万 =2.5 万亿,3.8 小时能跑出来已经算是不错的了。 有了好算法,100T 可以,没有好算法,10G 也可能 N 小时。从这个意义上讲,考察大数据技术的性能,关键在于这东西是不是有提供与众不同的好算法,能把计算量降下去。

    19101编辑于 2024-12-12
  • 来自专栏JAVA葵花宝典

    实战:上亿数据如何

    优化完成后,报表查询速度有从半小时以上(甚至查不出)到的质变。从修改SQL查询语句逻辑到决定创建存储过程实现,花了我3天多的时间,在此总结一下,希望对朋友们有帮助。 因为我直接在SQL查询分析器,半小时都没有结果。 (原因是里面对一张上亿级数据表和3张千万级数据表做全表扫描查询) 不由感慨,西门子中国的素质(或者说责任感)就这样? 最后,将SSRS报表替换成此存储过程后,SQL查询分析器是的。B/S前端用时1~2! 四. 总结 平常的你是否偶尔会因急于完成任务而书写一堆性能极低的SQL语句呢?

    1.4K40发布于 2020-10-09
  • 来自专栏ACM算法日常

    算法动画懂并

    集是一种很常用的数据结构,LeetCode上面有二十多道题,这次我们来看一道入门题目LeetCode 547 省份数量。 有 n 个城市,其中一些彼此相连,另一些没有相连。 并集 并集能很好的处理这种集合关系,和朋友圈类似,比如有n个人,需要将这些人划分到不同的圈子。并集有两个操作,一个是find,也就是查找这个人属于哪个圈子,另一个是union,是合并圈子。 并集初始的时候每个人都是一个圈子,每个人的圈子都指向自己,每次union合并操作,会把一个圈子a的根节点指向另一个圈子b的根节点,这样圈子a的所有节点的根节点也会跟着指向圈子b的根节点,达到合并的目的 并集的压缩处理是在find的过程中记录每个节点所在圈子的根节点,这样不需要递归遍历查询。 一记忆 一句话:合并是一个根节点指向另一个根节点,一山不容二虎。 i] == i) { circles++; } } return circles; } }; 总结 并集解决的是集合快速查询和合并的问题

    54620发布于 2021-04-22
  • 来自专栏好好学java的技术栈

    实战上亿数据,如何实现

    优化完成后,报表查询速度有从半小时以上(甚至查不出)到的质变。从修改SQL查询语句逻辑到决定创建存储过程实现,花了我3天多的时间,在此总结一下,希望对朋友们有帮助。 因为我直接在SQL查询分析器,半小时都没有结果。 (原因是里面对一张上亿级数据表和3张千万级数据表做全表扫描查询) 不由感慨,西门子中国的素质(或者说责任感)就这样? 最后,将SSRS报表替换成此存储过程后,SQL查询分析器是的。B/S前端用时1~2! 四. 总结 平常的你是否偶尔会因急于完成任务而书写一堆性能极低的SQL语句呢?

    1K20发布于 2020-12-08
  • 来自专栏对线JAVA面试

    调优实战:上亿数据如何

    优化完成后,报表查询速度有从半小时以上(甚至查不出)到的质变。从修改SQL查询语句逻辑到决定创建存储过程实现,花了我3天多的时间,在此总结一下,希望对朋友们有帮助。 因为我直接在SQL查询分析器,半小时都没有结果。 (原因是里面对一张上亿级数据表和3张千万级数据表做全表扫描查询) 不由感慨,西门子中国的素质(或者说责任感)就这样? 最后,将SSRS报表替换成此存储过程后,SQL查询分析器是的。B/S前端用时1~2! 四. 总结 平常的你是否偶尔会因急于完成任务而书写一堆性能极低的SQL语句呢?

    58410编辑于 2022-10-27
  • 来自专栏wj生信学习笔记

    Day6——布铎徳勒

    30740编辑于 2023-07-22
  • 来自专栏全栈学习之路

    网盘系统设计:万亿 GB 网盘如何实现传与限速?

    DBox 的存储量、吞吐量、带宽负载估算如下: 总存储量 理论上,总存储空间估算为 10 亿 TB,即 1 万亿 GB。 不重复上传:相同文件内容不重复上传,也就是说,如果用户上传的文件内容已经被其他用户上传过了,该用户不需要再上传一次文件内容,进而实现“传”功能。从用户视角来看,不到一就可以完成一个大文件的上传。 DBox 详细设计将关注元数据库、上传下载限速、传的设计实现。 3、传是用户快速上传文件的一种功能。 事实上,网盘保存的很多文件,内容其实是重复的,比如电影、电子书等等。 当文件长度小于256KB,则直接上传文件,不启用传功能。

    2.4K12编辑于 2023-12-04
  • 来自专栏从头开始学习测试开发

    视频生成狂飙:30出大片,AI如何重塑万亿内容产业?

    转眼间,2026年的今天,你只需输入一行文字,或者上传一张照片,AI就能在30内为你生成一段4K画质、物理规律精准、角色表情细腻的分钟级电影片段。这不是科幻,这是正在发生的现实。 昔日痛点:早期生成一段5的高清视频,往往需要排队数小时,甚至耗费数分钟进行渲染,灵感早就在等待中冷却。 今日奇迹:以Runway Gen-4 Turbo为例,它实现了30生成10高清视频的惊人速度。这意味着,你在咖啡馆喝一口咖啡的功夫,一个完整的镜头已经出炉。 长程记忆:通过引入Memory Mechanism(记忆机制)和Cached Memory(缓存记忆),模型能记住视频开头出现的物体,在几十后依然保持其外观和位置不变,解决了“人物变脸”、“物体消失”

    88310编辑于 2026-03-31
  • 来自专栏小雨的CSDN

    6.MySQL增删改(4)——删除元素

    格式: delete from 表 where 筛选条件 1.删除整个表 delete from student2; 2.删除指定数据 delete from exam_result where name=‘孙悟空’;

    37320编辑于 2022-10-26
  • 来自专栏HyperAI超神经

    印第安纳大学校庆超算,使用下一代 N 卡,速度达 6万亿

    其运算速度达到每秒 6万亿次,价值 960 万美元,已经在该大学安装并运行。 这款超级计算机名为 Big Red 200,运算速度每秒 6万亿次,价值 960 万美元,目前已在印第安纳大学安装并运行。 ? 此次升级将其理论 FP64 性能从 6 PetaFLOPS 提高到了近 8 PetaFLOPS。 ?

    57220发布于 2020-02-18
  • 来自专栏用户7873631的专栏

    dom啦6 增删改元素的内容

    span>我是span"; setText(oDiv, "www.it666.com"); function setText(obj,text) { if("6"

    87810发布于 2020-10-28
  • OpenClaw装上这个skill,A股数据

    装TushareSkill→懂金融,一键A股全量数据装搜索Skill→联网查资料、扒信息装其他Skill→解锁更多专业场景不会装Skill,你只用了OpenClaw10%的功能,纯纯大冤种!

    1.1K20编辑于 2026-03-19
  • 来自专栏架构师修炼

    6亿数据级查询,ClickHouse太快了!

    耗时():0.040。 查询列数:2。 返回行数:1。 扫描行数:600,040,000,大约 6 亿。 耗时():8.558。 查询列数:3。 结果行数:280。 扫描行数:600,040,000,大约 6 亿。 耗时():1.242。 查询列数:3。 结果行数:56。 扫描行数:600,040,000,大约 6 亿。 耗时():5.066。 查询列数:4。 结果行数:35。 耗时():0.826。 查询列数:4。 结果行数:100。 性能测试结果汇总 如下图: ? 在当前软硬件环境下,扫描 6 亿多行数据,常见的分析语句首次运行最慢在 8 秒左右能返回结果。

    3.1K20发布于 2021-04-12
  • 来自专栏深度学习与python

    万亿数据级响应,Apache Doris 在360数科实时数仓中的应用

    系统选型及对比 基于以上需求及痛点,我们对实时数仓的选型目标提出了明确的需求,我们希望新的 MPP 数据库具有以下几个特点: 数据写入性能高,查询级 兼容标准的 SQL 协议 表关联查询性能优秀 丰富的数据模型 Broker Load 任务,使用 Kerberos 认证访问 HDFS 的 Hive 文件导入数据,Hive 文件路径中分区和下一级目录使用通配符 *,访问所有分区所有文件,任务提交后隔 40 多出现如下的错误 在阅读了 Broker Load 的访问 HDFS 相关代码后确认了问题原因,Broker Load 调用 HDFS 的 LS、DU 方法时会获取文件目录信息,由于路径下的文件过多导致耗时会超过 45 , 而 Thrift 设置的 Socket 请求超时默认小于 40 ,所以出现了上述的 RPC 异常,问题反馈社区后,对 FE 增加了配置参数broker_timeout_ms,设置为 90 后解决问题 (导入数据源是 Hive 分区表) 部分 pdi/pda 表数据规模在 T 级别,在进行全量导入时,如果只提交一个 Broker Load Job ,将因为导入任务的并发不够,导致导入耗时达到 5-6

    1.3K21编辑于 2022-11-28
  • 来自专栏半月无霜

    mongodb如何实现增删改,SQL对比版,让你一上手

    那么现在有空了,编写一个mongodb如何进行增删改,采用SQL对比的方式,让大家清楚明了的知道mongodb增删改的写法。 having$match连表join$unwind聚合group by$group排序order by$sort分页limit$limit跳过skip$skip四、最后实际上,我在查找mongodb的增删改命令时

    64410编辑于 2024-12-04
  • 来自专栏用户7873631的专栏

    tp6对于json字段的增删改

    工具:phpstudy. 增加数据: <?php namespace app\index\controller; use app\BaseController; use think\facad

    53220编辑于 2022-05-18
  • 来自专栏java技术大本营

    java 小工具 | 封装通用的 Mybatis 生成模板 |1 写完增删改

    www.lixiang.red/articles/2019/07/23/1563857782748.html 今天小刀和各位小伙伴们一起来深入下这个问题,我们来研究下怎么去封装一个通用的Mybatis模板,让简单的增删改操作 sql , 可以重新建一个DAO , 或者在provider里面用字符串拼接的方式去完成 具体用法,大家可以参考上面的官方文档中的地址 设计封装的方法 封装规则要求 我们总说,我们一直都在做重复的增删改工作 ,现在我们就可以把这些基本的操作都封装起来,把更多的精力放在应用高可用,高响应,业务逻辑的梳理上面 因此 ,我们的封装也是以增删改四大方向为主. ); } } }); } 这样我们就可以做到,把增删改从 controller到dao直接一键生成到对应文件夹啦,只要把表建好,剩下的事就一步搞定啦 最后说两句 这个工具一般是做后台管理页面,增删改的时候用, 业务逻辑不建议用工具类生成,业务逻辑一般是提供dubbo

    1.1K40发布于 2019-08-09
  • 来自专栏FreeBuf

    色情诱导诈骗:20小电影撑起6亿黑产

    近日,“高中语文教材网页链接指向涉黄网站”的新闻引发了社会的广泛关注,“涉黄教材”案并非唯一的色情诱导诈骗案例,2017年4-6月期间,腾讯守护者计划安全团队先后协助武汉、大连等地警方,打掉了3个大型公司化运营色情诱导诈骗团伙及其黑色产业链 ,共计抓获犯罪嫌疑人120余人,冻结涉案资金超过6000万元,初步查明涉案金额达6亿元。 但是,显示为2小时时长的影片,往往只能看20。接下来,就是提示付费充值的对话框。根据提示的步骤充值成功后,用户会发现,也仅仅能再多看20的画面。要继续观看,还得充值。这似乎是个无底洞。

    2.9K50发布于 2018-02-28
  • 来自专栏Android点滴积累

    IOS小组件(6):小组件实现时钟按刷新

    引言   上一节中我们了解了IOS小组件的刷新机制,发现根本没法实现按刷新,但是看别的App里面有做到,以为用了什么黑科技,原来是因为系统提供了一个额外的机制实现时间的动态更新,不用走小组件的刷新机制 结语   通过IOS Text控件我们实现了按刷新的计时器,所以数字时钟的按刷新算是解决了,但是怎么实现表盘时钟的秒针360度旋转呢?如果让秒针精确的对应当前的时间,应该做不到了。

    4.9K31发布于 2021-05-18
  • 来自专栏BestSDK

    如何掘金万亿美金IoT市场?APICloud为你深度解析6个突破口

    6、城市管理 社会的高度发展,城市管理也越来越显重要。如果能够借助物联网,这将会节省多少人力和财力成本! 连接万物,应用技术架构做基石 物联网将会是互联网下半场的风口,除了以上 6 中常见的IoT应用类型,相关的应用技术架构也是不容忽视的。产品的实现需要技术做基石,常见的应用技术架构主要分为以下三种。

    981110发布于 2018-03-02
领券