- 综合排序
- 最热优先
- 最新优先
- 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 如果我们将 map 端划分数据、持久化数据的过程称为 shuffle write，而将 reducer 读入数据、aggregate 数据的过程称为 shuffle read。 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
92012编辑于 2021-12-06 - 来自专栏CSDNToQQCode
数据库面试题【十三、大表数据查询，怎么优化】
优化shema、sql语句+索引； 第二加缓存，memcached, redis； 主从复制，读写分离； 垂直拆分，根据你模块的耦合度，将一个大的系统分为多个小的系统，也就是分布式系统； 水平切分 ，针对数据量大的表，这一步最麻烦，最能考验技术水平，要选择一个合理的sharding key, 为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改，sql中尽量带sharding key，将数据定位到限定的表上去查
82710编辑于 2022-11-28 - 来自专栏CSDNToQQCode
数据库面试题【十一、InnoDB引擎的4大特性】
1、插入缓冲（insert buffer) 2、二次写(double write) 3、自适应哈希索引(ahi) 4、预读(read ahead)
34820编辑于 2022-11-28 - 来自专栏全栈程序员必看
HashMap常见面试题_java面试题大汇总
假设一种情况，线程A进入后还未进行数据插入时挂起，而线程B正常执行，从而正常插入数据，然后线程A获取CPU时间片，此时线程A不用再进行hash判断了，问题出现：线程A会把线程B插入的数据给覆盖，发生线程不安全 比如某些人通过找到你的hash碰撞值，来让你的HashMap不断地产生碰撞，那么相同key位置的链表就会不断增长，当你需要对这个HashMap的相应位置进行查询的时候，就会去循环遍历这个超级大的链表，性能及其地下 HashMap的数据结构 在Java中，保存数据有两种比较简单的数据结构：数组和链表。 JDK1.7 首先将数据分为一段一段的存储，然后给每一段数据配一把锁，当一个线程占用锁访问其中一个段数据时，其他段的数据也能被其他线程访问。 ②、数据结构: Node是存储结构的基本单元,继承HashMap中的Entry,用于存储数据; TreeNode继承Node,但是数据结构换成了二叉树结构,是红黑树的存储结构,用于红黑树中存储数据
57520编辑于 2022-09-22 - 来自专栏墨白的Java基地
面试题-----五大框架总结!!!
请求经过过滤器 3、再被Struts调用，通过Struts2的核心配置文件决定调用某个action 三、hibernate的特点 1、轻量级的框架 2、是持久层框架 3、内置简单的sql语句 4、是实体类与数据库表字段的关系型映射 6、全自动 四、mybatis的特点 1、手动编写sql语句 2、动态实现sql 3、是实体类与sql语句的关系映射 4、也是持久层框架 5、半自动 五、hibernate与mybatis的区别 1、数据库表数量较多 ，需要批量处理 推荐使用mybatis框架 2、数据库表结构复杂，推荐使用mybatis框架 3、人员方面不是经常使用hibernate的情况下，使用mybatis框架简单易学 六、mybatis 工作原理 1、加载mybatis全局配置文件（数据源、mapper映射文件等），解析配置文件，MyBatis基于XML配置文件生成Configuration，和一个个MappedStatement（包括了参数映射配置 3、SqlSession对象完成和数据库的交互： a、用户程序调用mybatis接口层api（即Mapper接口中的方法） b、SqlSession通过调用api的Statement ID找到对应的MappedStatement
79140发布于 2019-09-19 - 来自专栏FREE SOLO
2019数据库面试题：三大范式理解（实例超全解析）
一、数据库第一范式： 数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。 （保持数据的原子性） 数据原子性很好理解，就是表中的字段不可再分。 ? 这是一张简单的员工信息表，其中有工号、姓名、电话三个字段。 二、数据库第二范式： 在满足第一范式的基础上，实体的每个非主键属性完全函数依赖于主键属性（消除部分依赖） 主键：凡是接触过数据库的人，肯定都会知道主键，主键明确标识了每条记录，一般是一个字段，也可以由两个或两个字段组成 ** 反3NF 没有冗余的数据库未必是最好的数据库，有时为了提高运行效率，就必须降低范式标准，适当保留冗余数据。 具体做法是： 在概念数据模型设计时遵守第三范式，降低范式标准的工作放到物理数据模型设计时考虑。降低范式就是增加字段，允许冗余。 订单和订单项、相册浏览次数和照片的浏览次数。
4.5K20发布于 2019-04-19 - 来自专栏cwl_Java
经典面试题-2020年大厂面试题锦集
，而是 DMA 引擎传输数据到内存， 用于解放 CPU） 引擎从磁盘读取 index.html 文件，并将数据放入到内核缓冲区。 发生第二次数据拷贝，即：将内核缓冲区的数据拷贝到用户缓冲区，同时，发生了一次用内核态到用户态的上下文切换。 发生第三次数据拷贝，我们调用 write 方法，系统将用户缓冲区的数据拷贝到 Socket 缓冲区。此时，又发生了一次用户态到内核态的上下文切换。 因为内核缓冲区之间，没有数据是重复的 mmap 适合小数据量读写，sendFile 适合大文件传输。 mmap 需要 4 次上下文切换，3 次数据拷贝；sendFile 需要 3 次上下文切换，最少 2 次数据拷贝。
42230发布于 2020-07-21 - 来自专栏全栈程序员必看
十大经典思维面试题_JS面试题大全
答： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它是基于JavaScript的一个子集。数据格式简单, 易于读写, 占用带宽小。 IE 提供了一种存储可以持久化用户数据，叫做userdata，从IE5.0就开始支持。每个数据最多128K，每个域名下最多1M。这个持久化数据放在缓存中，如果缓存没有清理，那么会一直存在。 sessionStorage用于本地存储一个会话（session）中的数据，这些数据只有在同一个会话中的页面才能访问并且当会话结束后数据也随之销毁。 而localStorage用于持久化的本地存储，除非主动删除数据，否则数据是永远不会过期的。 ，session数据放在服务器上。
95510编辑于 2022-09-27 - 来自专栏全栈程序员必看
java面试题及答案2020 大汇总
java面试题及答案2020 先收藏后点赞，以后更新及时看 文末后续更新答案，持续更新 java面试题大汇总 百度第一篇 一面 2018/9/11 来自于牛客网 1、手写ArrayList 7、如果要对对购物车模块进行测试，阐述一下自己的想法 8、面向对象有三大特征：封装性、继承性、多态性 9、java 中有哪些常见的数据类型？ 10、常用哪些工具类？ MyISAM 具体用的用途是什么 3、数据库相关隔离级别介绍下，你现在用的是什么隔离级别 4、两个事务A、B，A 是未提交，A 读了一个数据，B 对数据进行写，A 再次读读的是什么数据？ 2020 百度第十篇 一面 2019/3/29 来自于牛客网 1、自我介绍 2、Java 中的八大类型及其包装类型 3、说一下 Map 的各种实现类，它们有什么区别 4、HashMap 底层实现 9、有什么要问我的 java面试题及答案2020 二面 2019/4/6 来自于牛客网 1、实习经历，实习时的项目功职责 2、项目介绍，redis 和 mysql 是如何保证数据同步性的3、
75010编辑于 2022-09-25 - 来自专栏全栈程序员必看
安卓四大组件面试题_android常见面试题
7.简单介绍下 ContentProvider 是如何实现数据共享的？ ContentProvider 是应用程序之间共享数据的接口。 10.Intent 传输数据的大小有限制吗？如何解决？ 答：Intent 的数据传递是基于 Binder 的，因此传输数据的大小受Binder限制，上限一般是1M。 答：ContentProvider内容提供者, 用于对外提供数据。 ContentResolver内容解析者, 用于获取内容提供者提供的数据。 ContentObserver内容监听者,可以监听数据的改变状态。 一个应用可以实现ContentProvider来提供给别的应用操作,通过ContentResolver来操作别的应用数据, 同时注册ContentObserver监听数据的变化。
78910编辑于 2022-09-27 - 来自专栏全栈程序员必看
Android面试题（四大组件篇）
Android面试题（四大组件篇） window、进程、线程篇 Android面试题（数据存储、view篇） Activity Q：说下Activity的生命周期？ 作为数据载体。 2、从灵活性上来说 Activity是四大组件之一，是每个页面的承载，一个就是一个，Fragment的显示要依赖于Activity，从Fragment的生命周期中就可以了解到。 ActivityManagerService（以后简称AMS）Android中最核心的服务 ， 主要负责系统中四大组件的启动、切换、调度及应用进程的管理和调度等工作，其职责与操作系统中的进程管理和调度模块类似 （2）只有需要在多个应用程序间共享数据是才需要内容提供者。例如，通讯录数据被多个应用程序使用，且必须存储在一个内容提供者中。它的好处是统一数据访问方式。
1.5K20编辑于 2022-08-31 - 来自专栏无题~
大数据面试题
⑤数据倾斜概念？ Hive部分 ①hive本质？ ②group by、sort by、oreder by、distribute by、cluster by、partition by区别？ ⑥hive导入数据和到处数据的方式？ HBase部分 ①集群角色以及作用？ ②client写过程和读过程？ ③布隆过滤器？ ④Hbase存储特点、与mysql相比？ ⑤rowkey的设计？ ③kafka中数据写入过程？Follwer与leader如何实现数据同步？ ④kafka消费者组概念？ Flume部分 ①Flume组件成员以及含义？ ②Flume传输数据方式？ ③Flume传输数据会丢失吗？怎样避免丢失 Flink部分 ①Flink最小计算单元？ ②Flink任务提交至yarn流程？ ③Flink时间语义几种、含义？ ④Flink窗口类型？ 如何设置数据延迟？ ⑦checkpoint和savepoint区别？有什么好处？ ⑧怎么理解Flink是保证数据不丢失的？端到端一致性含义？ ⑨Flink提供了几层api？分别都适用哪些场景？
69440发布于 2020-07-10 - 来自专栏Android机动车
2019年大厂Android面试题
Handler源码，消息轮询会一直进行吗 自定义View，子View决定父View的大小 rxJava操作符，map和flatmap的区别 volatile操作符的作用 tcp三次握手和四次挥手 tcp数据丢失怎么处理
3.2K20发布于 2019-04-25 - 来自专栏全栈程序员必看
大数据面试题(六)—-HBASE 面试题
1） 大：一个表可以有数十亿行，上百万列； 2） 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不 同的行可以有截然不同的列； 3） 面向列：面向列（族）的存储和权限控制 数据类型单一：Hbase 中的数据都是字符串，没有类型。 分区允许在数据集上运行过滤查询，这些数据集存储在不同的文件夹内，查询的时候只遍历指定文件夹（分区）中的数据。 原因如下： 1） 大：一个表可以有数十亿行，上百万列； 2） 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不 同的行可以有截然不同的列； 3） 面向列：面向列（族） ； 6） 数据类型单一：Hbase 中的数据都是字符串，没有类型。
40220编辑于 2022-09-02 - 来自专栏加米谷大数据
程序员面试：八大数据结构及相关面试题
即便是对于一些非常基础的工作来说，学习数据结构也是必须的。那么，就让我们先从一些基本概念开始入手。 什么是数据结构? 简单地说，数据结构是以某种特定的布局方式存储数据的容器。 这种“布局方式”决定了数据结构对于某些操作是高效的，而对于其他操作则是低效的。首先我们需要理解各种数据结构，才能在处理实际问题时选取最合适的数据结构。 为什么我们需要数据结构? 数据是计算机科学当中最关键的实体，而数据结构则可以将数据以某种组织形式存储，因此，数据结构的价值不言而喻。 有很多数据结构能够满足以不同格式存储数据的需求。 数组 数组是最简单、也是使用最广泛的数据结构。栈、队列等其他数据结构均由数组演变而来。 每个数据元素都关联一个正数值，我们称之为索引，它表明数组中每个元素所在的位置。
3.5K30发布于 2019-01-09 - 来自专栏全栈程序员必看
大数据面试题——HBase面试题总结
1）大：一个表可以有数十亿行，上百万列； 2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列； 3）面向列：面向列（族）的存储和权限控制 对于缓存操作，如果行的数据量非常大，多行数据有可能超过客户端进程的内存容量，由此引入批量处理这一解决方案。 （☆☆☆☆☆） 需求分析： 1）百亿数据：证明数据量非常大； 2）存入HBase：证明是跟HBase的写入数据有关； 3）保证数据的正确：要设计正确的数据结构保证正确性； 3）减少数据量 虽然我们是在进行大数据开发，但是如果可以通过某些方式在保证数据准确性同时减少数据量，何乐而不为呢？ ⑧ 当Storefile越来越多，会触发Compact合并操作，把过多的Storefile合并成一个大的Storefile。
1K40编辑于 2022-09-04 - 来自专栏全栈程序员必看
关于nginx的五大面试题_vue面试题大全
URL的、基于目录的这种转发LVS就做不了 工作选择： HAproxy和Nginx由于可以做七层的转发，所以URL和目录的转发都可以做 在很大并发量的时候我们就要选择LVS，像中小型公司的话并发量没那么大
57711编辑于 2022-09-27 - 来自专栏全栈程序员必看
java中高级面试题总结(全面)_java高级面试题大汇总
参考了网上的面试题，整理了一份面试题的资料。 String,StringBuffer, StringBuilder 的区别是什么？String为什么是不可变的？ 从ConcurrentHashMap代码中可以看出，它引入了一个“分段锁”的概念，具体可以理解为把一个大的Map拆分成N个小的HashTable，根据key.hashCode()来决定把key放到哪个HashTable JAVA基本数据类型和字节大小 byte：8位，最大存储数据量是255，存放的数据范围是-128~127之间。 short：16位，最大数据存储量是65536，数据范围是-32768~32767之间。 int：32位，最大数据存储容量是2的32次方减1，数据范围是负的2的31次方到正的2的31次方减1。 long：64位，最大数据存储容量是2的64次方减1，数据范围为负的2的63次方到正的2的63次方减1。
1.8K20编辑于 2022-09-25 数据科学面试题-2023面试题库
数据科学是一个跨学科领域，它挖掘原始数据，对其进行分析，并提出用于从中提取有价值的见解的模式。统计学、计算机科学、机器学习、深度学习、数据分析、数据可视化和各种其他技术构成了数据科学的核心基础。 它从收集业务需求和相关数据开始。 获取数据后，将通过执行数据清理、数据仓库、数据暂存和数据体系结构来维护数据。 比如说，您看到了累积的误差梯度呈指数级增长，因此，对神经网络模型权重进行了非常大的更新。这些指数增长的误差梯度在很大程度上更新了神经网络权重，称为梯度爆炸。 数据清理来自不同来源的数据有助于数据转换，并生成数据科学工程师可以处理的数据。 正确清理的数据可以提高模型的准确性，并提供非常好的预测。 如果数据集非常大，则在其上运行数据会变得很麻烦。 由于成为一名优秀的专业数据科学工程师有很多先决条件，因此福利和好处非常大。如今，数据科学工程师已成为最受欢迎的工作角色。
40010编辑于 2025-04-05- 来自专栏全栈程序员必看
十道海量数据处理面试题与十个方法大总结
–十道海量数据处理面试题与十个方法大总结。 解答：数据大则划为小的，但如果数据规模比较小，能一次性装入内存呢? 据观察，这方面的面试题无外乎以上一种或其变形，然题目为何取为是：秒杀99%的海量数据处理面试题，而不是100%呢。OK，给读者看最后一道题，如下： 非常大的文件，装不进内存。 返回上面我们的题目：非常大的文件，装不进内存。每行一个int类型数据，现在要你随机取100个数。 后记 不过，相信你也早就意识到，若单纯论海量数据处理面试题，本blog内的有关海量数据处理面试题的文章已涵盖了你能在网上所找到的70~80%。
1.9K20编辑于 2022-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号