- 综合排序
- 最热优先
- 最新优先
- 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
92912编辑于 2021-12-06 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.4K100发布于 2018-04-11 - 来自专栏全栈程序员必看
淘宝双11大数据分析（数据可视化）
文章目录 前言 本篇环境 结果展示 项目结构 前言 这一篇是最终篇，也是展示数据分析之后的结果的一篇。 其他文章： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 淘宝双11大数据分析（Hive 分析篇-上） 淘宝双11大数据分析（Hive 分析篇-下） 淘宝双11大数据分析（Spark
5.8K20编辑于 2022-09-14 - 来自专栏PPV课数据科学社区
大数据挖掘中易犯的11大错误
按照Elder博士的总结，这11大易犯错误包括： 0.缺乏数据(LackData) 1.太关注训练(FocusonTraining) 2.只依赖一项技术(RelyonOneTechnique) 3.提错了问题 如果数据+工具就可以解决问题的话，还要人做什么呢4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6.抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”? ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
71870发布于 2018-04-20 - 来自专栏PPV课数据科学社区
【译文】关于数据科学难以忽视的11大真相
. 9、Presentation is key - be a master of Power Point. 10、All models are false, but some are useful. 11 You need to get your hands dirty. 1、 数据都是没有清洗过的。 2、 你总是需要花费大量的时间准备和清洗数据。 3、 95%的任务不需要深度学习。 11、没有完全自动化的数据科学。很多你需要人工手动操作。 翻译：lily PPV课原创编译 转载请注明出处 原文链接：http://www.ppvke.com/Answer/? 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复“可视化”查看数据可视化专题-数据可视化案例与工具 5、回复“禅师”查看当禅师遇到一位理科生 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
81070发布于 2018-04-20 - 来自专栏华章科技
干货 ：数据挖掘中易犯的11大错误
11大易犯错误——Elder博士 0. 缺乏数据（Lack Data） 1. 太关注训练（Focus on Training） 2. 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 10.
29220发布于 2018-08-13 - 来自专栏搬砖记录
Java学习笔记-全栈-web开发-11-JavaWeb三大组件
三大组件包含：Servlet、Filter、Listener Servlet已经多次使用，本章会对其做一个重点总结，并推荐一些Filter、Listener较好的博文，并总结相关重点。 Servlet 前面已经多次使用，可以看到，Servlet就是前端与后端交互的门户，接收请求，响应数据。 servlet被称为控制器，它接受Web请求，分发调用不同的逻辑或服务（service）完成一项事情，然后响应数据。 ? 2. Filter 过滤器，顾名思义，就是对请求进行过滤操作的。
45510发布于 2021-08-18 - 来自专栏编码视界
FastAPI后台开发基础（11）： Form 表单数据使用
示例代码简单的表单数据@app.post("/login/")async def login(data_a: Annotated[str, Form()], data_b: Annotated[str, h.hexdigest(), 'sign': h.name, 'details': user_info.model_dump_json()}关于表单参数为什么需要 Form兼容传统表单提交：在 Web 开发中 参数专门用于处理这种类型的数据简化客户端代码：对于不使用 JavaScript 或复杂前端框架的简单网页来说，直接从 HTML 表单提交数据到后端是非常直接和简单的使用 Form 可以直接接收这些数据， /x-www-form-urlencoded 或 multipart/form-data 数据处理复杂性：虽然你可以通过 Body 接收原始数据并手动解析 application/x-www-form-urlencoded 或 multipart/form-data 数据，但这增加了处理的复杂性。
50543编辑于 2024-10-24 - 来自专栏灯塔大数据
必看 ：大数据挖掘中易犯的11大错误
4 只靠数据来说话(Listen(only)totheData) IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据+工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 4b.经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常不可信。 给数据加上时间戳，避免被误用。 6 抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
67370发布于 2018-04-09 - 来自专栏PPV课数据科学社区
世界杯11大数据:20位前冠军出战
随着全部32支参赛队的23人名单基本敲定，国际足联官方列出本届杯赛的11大数据，本届杯赛共有236人参加过世界杯，包括20位前冠军，最年轻及最年长的球队分别是加纳和阿根廷，所有球员的平均年龄为 岁零1个月，是本届杯赛最年轻的球员，也有望成为世界杯历史第9年轻的球员，但即便是喀麦隆历史，也有3名球员出征世界 杯时比他年轻，分别是埃托奥（17岁零3个月）、奥莱姆贝（17岁零6个月）以及宋（17岁零11
74460发布于 2018-04-19 - 来自专栏Android 开发者
聚焦 Android 11: 开发语言
本期我们将深入探讨 Android 三种核心语言的所有最新资讯: 从 Kotlin 协程到 Android 11 新的 Java API，再到更出色的本地开发工具，最新版本中包含了很多内容。 Kotlin 与协程 Kotlin 是现代 Android 开发与指导性开发库的核心。 有关 Kotlin 的最新案例分享和数据，请查看全新 Kotlin 案例研究页面。 对于初学者，我们已宣布推出新的 Android Basics in Kotlin 课程。 在 Android 11 中，我们力求不断改进对这两种语言的支持。在 Android 11 Beta 中，我们使用来自 OpenJDK 9、10 和 11 的许多新 API 升级了 Java 库支持。 对于 Android 11，我们还更新了 Android 运行时间 (Android runtime)，以通过 I/O 预取 加快应用的启动速度。 C++ 开发者的体验也在不断改善。
1.4K10发布于 2020-10-16 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
用户想要掩盖哪些数据，想要显示哪些数据，如果只有汇总数据，那么你已经设定了数据的使用模式，当用户想要深入挖掘数据时他们就会遇到障碍。 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 ，企业数据仓库总线矩阵是最关键的架构蓝图，它展现了组织的核心业务流程和关联 的维度，重用一致的维度可以缩短产品的上市时间，也消除了冗余设计和开发过程，但一致的维度需要在数据管理和治理方面有较大的投入。 需求和事实之间的平衡是DW/BI 从业人员必须面对的事实，无论是你集中在维度建模，还是项目策略、技术/ETL/BI架构或开发/维护规划都要面对这一事实。 原则11、基于OLAP分析各操作进行维度设计指导 从结果反思设计过程，基于OLAP钻取、上钻、下钻、切片、切块的业务需求，设计你的维度模型。 三、未完待续
2.2K30发布于 2019-01-14 - 来自专栏Java
小米大模型数据开发工程师-武汉
小米大模型数据开发工程师-武汉 我对于这个岗位的理解 结合这个职位的描述与网上的搜索，对于这个职位我的理解大概是这样的： 数据处理：需要使用各种工具（如SQL、Python、Hadoop等）来收集、清洗和处理数据 大模型和大数据的行业前景理解 大模型-理解 首先是对于大模型的理解，最经典的就是chatgpt，PI AI，claude2, Bard,这些是市面上使用体验最好的大语言模型，这也是我平日生活中工作学习必不可少的部分 就我自己学习和我们老师教学来看，我的理解是后端开发包含大数据开发，但是大数据开发不包含后端开发，也就是干后端开发的往往也可以干大数据开发，但是干大数据开发的很难转到后端开发，我们教学也是这样的，都显示教完 因此，Python常被用于数据分析和大模型的构建，它的灵活性和易用性使得数据科学家和工程师能够更快速地进行原型设计和实现复杂的数据分析任务。 kafka\spark\ETL\maven\gradle 我们可以将大模型数据开发想象成是一家大型的制造厂，而这些技术工具就是厂房中的各种设备。
59610编辑于 2025-01-21 - 来自专栏zzzz
大快大数据开发框架的构成模块
大快大数据开发框架的构成模块 大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！ 做大数据原生态开发且又推出商业发行版的，行业也就只有大快搜索，可能在未来的三五年内也许还会有做大数据原生态开发的出现。 为何大数据的普及度不高，主要是由于大数据的应用开发太过偏向于底层，学习的难度不是一般的大，所涉及到的技术面广太大，不是一般人所能够驾驭得了的。 大快DKhadoop把大数据开发中的一些通用的，重复使用的基础代码、算法封装为类库，在很大程度上降低了开发的难度。相信这个对于从事开发的人员看了就更容易懂了。 下面，就给大家介绍看一下大快的大数据开发框架的模块构成都有哪些： 大快大数据一体化开发框架主要由六部分组成：数据源与SQL引擎、数据采集（自定义爬虫）模块、数据处理模块、机器学习算法、自然语言处理模块、
90720发布于 2018-10-10 - 来自专栏清菡软件测试
python全栈开发《11.数据类型之初识元组》
1.什么是元组 元组与列表一样，都是一种可以存储多种数据结构的队列。 元组也是一个有序的，且元素可以重复的集合。 在python中，元组是一个无限制长度的数据结构。 3.元组与列表的区别 元组比列表占用的内存空间更小。 列表是可变的，元组是不可变的。 因为没有数据让你进行对比。
27810编辑于 2024-06-25 - 来自专栏CDA数据分析师
数据挖掘过程中绝不能犯这11大错误
只靠数据来说话（Listen (only) to the Data） IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！ 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 7. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训 练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 11.
69060发布于 2018-02-08 - 来自专栏Sign
精灵之息 开发日志（11）
但是后期有些精灵出现一些重叠感，而且虽然都是独特的行为模式但是很多精灵让无法给人留下很深的印象
46220发布于 2021-08-27 - 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化select t.x te.xfrom o_detail tleft join p_detail teon t.A = te.A and t.B t.A = '' and t.B = ''and te.C = '' and t.D = 0group by t.B,t.C,te.X,te.id,te.Y分析执行计划因为te表未用到索引造成全表扫描大表总数据条数那就看看为什么没走索引 怎么才能走索引 业务能不能优化 影不影响主数据？ 先强制走te表索引或者覆合索引效果显著但是现在在模拟生产数据后te表仍然无法走任何索引思路一：查询t表，te表，全部索引show index from tshow index from te字段索引都有为什么不走
27830编辑于 2023-06-30 - 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化 select t.x te.xfrom o_detail t left join p_detail te on t.A = te.A and 因为te表未用到索引造成全表扫描 大表总数据条数 ? 那就看看为什么没走索引 怎么才能走索引 业务能不能优化 影不影响主数据？ 但是现在在模拟生产数据后te表仍然无法走任何索引 思路一： 查询t表，te表，全部索引 show index from t show index from te 字段索引都有为什么不走？
44520发布于 2021-07-22 - 来自专栏数据D江湖
2022双11大促复盘报告
来源：魔镜市场情报 公众号后台回复： 报告 获取源文件 欢迎添加本站微信：datajh （可上下滑动或点单个图片放大左右滑动查看）
11.6K21编辑于 2022-12-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号