- 综合排序
- 最热优先
- 最新优先
- 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
94612编辑于 2021-12-06 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.4K100发布于 2018-04-11 - 来自专栏全栈程序员必看
淘宝双11大数据分析（数据可视化）
文章目录 前言 本篇环境 结果展示 项目结构 前言 这一篇是最终篇，也是展示数据分析之后的结果的一篇。 其他文章： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 淘宝双11大数据分析（Hive 分析篇-上） 淘宝双11大数据分析（Hive 分析篇-下） 淘宝双11大数据分析（Spark
5.8K20编辑于 2022-09-14 - 来自专栏华章科技
干货 ：数据挖掘中易犯的11大错误
11大易犯错误——Elder博士 0. 缺乏数据（Lack Data） 1. 太关注训练（Focus on Training） 2. 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 10.
30520发布于 2018-08-13 - 来自专栏PPV课数据科学社区
大数据挖掘中易犯的11大错误
按照Elder博士的总结，这11大易犯错误包括： 0.缺乏数据(LackData) 1.太关注训练(FocusonTraining) 2.只依赖一项技术(RelyonOneTechnique) 3.提错了问题 如果数据+工具就可以解决问题的话，还要人做什么呢4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6.抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”? ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
73070发布于 2018-04-20 - 来自专栏PPV课数据科学社区
【译文】关于数据科学难以忽视的11大真相
. 9、Presentation is key - be a master of Power Point. 10、All models are false, but some are useful. 11 You need to get your hands dirty. 1、 数据都是没有清洗过的。 2、 你总是需要花费大量的时间准备和清洗数据。 3、 95%的任务不需要深度学习。 11、没有完全自动化的数据科学。很多你需要人工手动操作。 翻译：lily PPV课原创编译 转载请注明出处 原文链接：http://www.ppvke.com/Answer/? 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复“可视化”查看数据可视化专题-数据可视化案例与工具 5、回复“禅师”查看当禅师遇到一位理科生 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
83370发布于 2018-04-20 - 来自专栏灯塔大数据
必看 ：大数据挖掘中易犯的11大错误
4 只靠数据来说话(Listen(only)totheData) IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据+工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 4b.经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常不可信。 给数据加上时间戳，避免被误用。 6 抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
68670发布于 2018-04-09 - 来自专栏PPV课数据科学社区
世界杯11大数据:20位前冠军出战
随着全部32支参赛队的23人名单基本敲定，国际足联官方列出本届杯赛的11大数据，本届杯赛共有236人参加过世界杯，包括20位前冠军，最年轻及最年长的球队分别是加纳和阿根廷，所有球员的平均年龄为 岁零1个月，是本届杯赛最年轻的球员，也有望成为世界杯历史第9年轻的球员，但即便是喀麦隆历史，也有3名球员出征世界 杯时比他年轻，分别是埃托奥（17岁零3个月）、奥莱姆贝（17岁零6个月）以及宋（17岁零11
77060发布于 2018-04-19 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。本文适用于多维建模，不使用于3NF建模。 用户想要掩盖哪些数据，想要显示哪些数据，如果只有汇总数据，那么你已经设定了数据的使用模式，当用户想要深入挖掘数据时他们就会遇到障碍。 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 原则9、创建一致的维度集成整个企业的数据 对于企业数据仓库一致的维度，是最基本的原则，在ETL系统中管理一次，然后在所有事实表中都可以重用，一致的维度在 整个维度模型中可以获得一致的描述属性，可以支持从多个业务流程中整合数据 原则11、基于OLAP分析各操作进行维度设计指导 从结果反思设计过程，基于OLAP钻取、上钻、下钻、切片、切块的业务需求，设计你的维度模型。 三、未完待续
2.2K30发布于 2019-01-14 - 来自专栏CDA数据分析师
数据挖掘过程中绝不能犯这11大错误
只靠数据来说话（Listen (only) to the Data） IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！ 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 7. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训 练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 11.
71060发布于 2018-02-08 - 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化select t.x te.xfrom o_detail tleft join p_detail teon t.A = te.A and t.B t.A = '' and t.B = ''and te.C = '' and t.D = 0group by t.B,t.C,te.X,te.id,te.Y分析执行计划因为te表未用到索引造成全表扫描大表总数据条数那就看看为什么没走索引 怎么才能走索引 业务能不能优化 影不影响主数据？ 先强制走te表索引或者覆合索引效果显著但是现在在模拟生产数据后te表仍然无法走任何索引思路一：查询t表，te表，全部索引show index from tshow index from te字段索引都有为什么不走
30330编辑于 2023-06-30 - 来自专栏数据D江湖
2022双11大促复盘报告
来源：魔镜市场情报 公众号后台回复： 报告 获取源文件 欢迎添加本站微信：datajh （可上下滑动或点单个图片放大左右滑动查看）
11.8K21编辑于 2022-12-08 - 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化 select t.x te.xfrom o_detail t left join p_detail te on t.A = te.A and 因为te表未用到索引造成全表扫描 大表总数据条数 ? 那就看看为什么没走索引 怎么才能走索引 业务能不能优化 影不影响主数据？ 但是现在在模拟生产数据后te表仍然无法走任何索引 思路一： 查询t表，te表，全部索引 show index from t show index from te 字段索引都有为什么不走？
45620发布于 2021-07-22 - 来自专栏服务器运维日常
腾讯云2024双11大促：数据库智能管家 DBbrain最佳实践
引言 腾讯云2024双11大促已正式开始，在这场活动中，腾讯云为用户带来了超值福利，其中云服务器CVM成为企业和个人用户部署应用、存储数据、处理信息的首选方案，其高效、灵活、可扩展的特性极大地促进了业务的快速发展 数据库智能管家（TencentDB for DBbrain，DBbrain）是腾讯云推出的一款为用户提供数据库性能优化、安全、管理等功能的数据库自治云服务，利用机器学习、大数据和专家经验，智能化数据库运维 本文将详细介绍在腾讯云2024双11活动中，基于腾讯云CVM云服务器部署MySQL数据库，并搭配使用数据库智能管家产品的最佳实践，构建高效稳定的数据库运维体系。 一、活动时间及参与方式 活动时间：2024年11月1日 至 2024年11月30日23:59:59。 同时腾讯云2024双11大促还有首单特惠、买赠专区等活动。
13.7K21编辑于 2024-11-15 - 来自专栏网络安全观
一文读懂11大密码应用模式
炼石总结并在不断完善11种密码应用模式，下面将分别对各应用模式的威胁分析、解法与案例做摘录介绍，由于篇幅限制，各场景详细案例实践可以联系小编获取，欢迎各位业界同仁共同完善。 模式三：业务数据代理加密 ? ? ? 模式四：以加密为抓手的访问控制和审计 ? ? ? 模式五：端云交互密钥的终端加密 ? ? ? 模式六：结合业务的TDE透明数据加密 ? ? ? 模式八： 数据完整校验 ? ? ? 模式九： 基于PKI 的身份认证 ? ? ? 模式十： 数据签名验证 ? ? ? 模式十一： 受控数据共享 ? ? ? ? 炼石是一家专注于应用安全与数据安全的高新技术公司，为用户提供创新应用安全与数据安全产品与解决方案，致力于将数据安全适配进业务流程，构建应用安全生态，保障企业业务发展。 炼石作为国内首家基于CASB（云访问安全代理）模式的企业应用与数据安全产品提供商，能够在不改造应用系统的情况下，把数据安全乃至业务安全机制嵌入企业应用及业务流程，让应用系统获得近乎内建的安全能力，从源头应对安全风险
47720发布于 2021-02-26 - 来自专栏罗超频道
共享单车带来5大社会问题，却有11大好处！
大饥荒之后迎来粮食丰收后还是会死很多人——被撑死的。 ? 然而相对于共享单车给社会带来的好处来说，上述影响都微不足道。什么好处？ 1、共享单车可以大幅提高城市效率。 深圳最近限制部分违规骑行者使用共享单车说明共享单车数据本身就可以成为个人征信的一部分。 10、共享单车提升中国创新形象。 11、共享单车会促进城市交通设施更完善。 没有自行车道的城市可能会规划自行车道，没有自行车停放区域的城市可能会规划区域，这意味着城市交通设施会更完善。
6.3K30发布于 2018-04-16 - 来自专栏python全栈教程专栏
mysql数据库(11):恢复数据
(1)先登录 mysql -h localhost -u root -p (2)查看数据库有哪些 show databases; (3)新建一个空表text create database text ; ####新建数据库text ,等下导表用### (4)删除数据库chuan drop database chuan; 查看还在不在？ 不在了 show databases； 退出mysql后再执行以下命令恢复数据库中的表： mysql -h localhost -u root -p mysql 使用如下命令能够查看到表已经备份进去了 show tables; 如何恢复数据库呢？ 以下将chuan.sql备份到text空数据库中 mysql -h localhost -u root -p text 再次登录查看，是成功将chuan这个数据库备份到了text数据库了。
3.8K10发布于 2021-10-18 - 来自专栏数据猿
大数据投融资周报（11月5日——11月11日，共15起）
来源：数据猿 作者：abby 本周大数据领域共发生15起投融资事件，其中包括7家中国企业、7家美国企业以及1家芬兰企业，涉及领域包括金融、机器学习、人工智能等多个领域，以下为您奉上本周投融资周报。 来源：数据猿
60090发布于 2018-04-20 - 来自专栏Qt项目实战
Qt编写数据可视化大屏界面电子看板11-自定义控件
一、前言 说到自定义控件，我是感觉特别熟悉的几个字，本人亲自原创的自定义控件超过110个，都是来自各个行业的具体应用真实需求，而不是凭空捏造的，当然有几个小控件也有点凑数的嫌疑，在编写整个数据可视化大屏界面电子看板系统中 数据源支持数据库采集（默认）、网络通信、网络请求等，可自由设定每个子界面的采集间隔即数据刷新频率。 曲线支持游标+悬停高亮数据点和显示值，柱状图支持顶部（可设置顶端+上部+中间+底部）显示数据，全部自适应计算位置。 主界面直接鼠标右键切换布局+配色方案+关闭开启某个二级窗体。 每个模块都可以自定义采集速度，如果是数据库采集会自动排队处理。 程序默认是模拟数据，如果需要从数据库采集则修改配置文件WorkMode=db即可。 如果发现布局拖动乱了，可以直接鼠标右键选择恢复布局即可，在保存布局以前。
1.6K30发布于 2019-08-20 - 来自专栏信息技术智库
hive函数大全：11大类、109个函数
*r 11. 结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。 结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。 结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。 结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。
7.1K11编辑于 2022-07-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号