- 综合排序
- 最热优先
- 最新优先
- 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
1K12编辑于 2021-12-06 - 来自专栏John Wong's Blog
修改Docker数据目录位置，包含镜像位置
Docker安装后默认下载的位置在/var/lib/docker ，如果/var分区没有独立分出来，Linux下默认是与/根分区在一起。 基于此情此景，我们都要把这个目录改一下 查看当前Docker目录位置 #展示当前docker的配置信息 docker info ------------------------------------- home/docker" } 保存退出，重启docker服务 sudo systemctl restart docker 验证 查看 docker info 查看 Docker Root 来验证目录位置 127.0.0.0/8 Registry Mirrors: http://hub-mirror.c.163.com/ Live Restore Enabled: false 相比上边的，镜像位置已经修改完毕
3.1K10编辑于 2021-12-23 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.5K100发布于 2018-04-11 - 来自专栏全栈程序员必看
淘宝双11大数据分析（数据可视化）
文章目录 前言 本篇环境 结果展示 项目结构 前言 这一篇是最终篇，也是展示数据分析之后的结果的一篇。 其他文章： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 淘宝双11大数据分析（Hive 分析篇-上） 淘宝双11大数据分析（Hive 分析篇-下） 淘宝双11大数据分析（Spark
6.3K20编辑于 2022-09-14 - 来自专栏Lansonli技术博客
2021年大数据Spark（四十八）：Structured Streaming 输出终端位置
---- 输出终端/位置 Structured Streaming 非常显式地提出了输入(Source)、执行(StreamExecution)、输出(Sink)的3个组件，并且在每个组件显式地做到fault-tolerant ，需要两个参数：微批次的输出数据DataFrame或Dataset、微批次的唯一ID。 使用foreachBatch函数输出时，以下几个注意事项： 1.重用现有的批处理数据源，可以在每个微批次的输出上使用批处理数据输出Output； 2.写入多个位置，如果要将流式查询的输出写入多个位置，则可以简单地多次写入输出 但是，每次写入尝试都会导致重新计算输出数据（包括可能重新读取输入数据）。要避免重新计算，您应该缓存cache输出 DataFrame/Dataset，将其写入多个位置，然后 uncache 。 如果以连续模式写入数据，请改用foreach。
1.9K40发布于 2021-10-11 - 来自专栏PPV课数据科学社区
大数据挖掘中易犯的11大错误
按照Elder博士的总结，这11大易犯错误包括： 0.缺乏数据(LackData) 1.太关注训练(FocusonTraining) 2.只依赖一项技术(RelyonOneTechnique) 3.提错了问题 如果数据+工具就可以解决问题的话，还要人做什么呢4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6.抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”? ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
75270发布于 2018-04-20 - 来自专栏PPV课数据科学社区
【译文】关于数据科学难以忽视的11大真相
. 9、Presentation is key - be a master of Power Point. 10、All models are false, but some are useful. 11 You need to get your hands dirty. 1、 数据都是没有清洗过的。 2、 你总是需要花费大量的时间准备和清洗数据。 3、 95%的任务不需要深度学习。 11、没有完全自动化的数据科学。很多你需要人工手动操作。 翻译：lily PPV课原创编译 转载请注明出处 原文链接：http://www.ppvke.com/Answer/? 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复“可视化”查看数据可视化专题-数据可视化案例与工具 5、回复“禅师”查看当禅师遇到一位理科生 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
86070发布于 2018-04-20 - 来自专栏code人生
Solidity：数据存储位置
在 Solidity 中，有三种数据存储位置：storage、memory 和 calldata。这三者的差异主要在于它们的数据保存位置和存储周期。 2.Memory: Memory 数据在临时内存中存储，当前函数执行完毕后，这部分数据就会被清除。Memory 数据不会被永久写入区块链，使用 Memory 比 Storage 成本低。 下面的示例中展示了三种数据存储位置： // SPDX-License-Identifier: MIT pragma solidity ^0.8.25; contract DataLactionsTest 理解这三种数据存储位置之间的差异以及它们如何影响合约的成本，能帮助我们更有效地编写和优化智能合约。 如果需要长期存储数据，那么数据应被存储在 storage；否则，如果数据是临时的，它应在 memory 中存储。对于外部函数参数，应优先考虑使用 calldata 来降低 gas 成本。
89510编辑于 2024-05-28 - 来自专栏华章科技
干货 ：数据挖掘中易犯的11大错误
11大易犯错误——Elder博士 0. 缺乏数据（Lack Data） 1. 太关注训练（Focus on Training） 2. 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 10.
34020发布于 2018-08-13 重构大交通AI决策引擎：基于位置大数据的民航商旅实践洞察
专家信息：航班管家数据商业部总经理 王磊 剖析立体交通格局冲突：客流分化与“旺丁不旺财”双重挑战 在民航与高铁“双高速”竞合模式下，大交通出行领域正面临深度的结构性挑战与收益瓶颈。 企业决策亟需从传统的经验主义向精准的数据洞察转型，当前行业的两大核心痛点日益凸显： 高铁网络虹吸加剧客流分化：高铁网络的贯通对中短途民航市场产生显著冲击。 携手腾讯地图位置大数据，构建了覆盖航空、铁路、公路的大交通AI决策新引擎： 全景客流归因与需求识别：引入腾讯地图位置大数据，捕捉城市间人口流动的轨迹、强度与周期性规律。 物流调度场景（效率优化）：基于货运航班计划数据与实时位置追踪，协助货主全程监控动态并制定最优发运计划。 沉淀时空轨迹底座，实现“数据驱动”战略跨越 引入腾讯地图位置大数据，是构建大交通AI引擎的关键变量。
25210编辑于 2026-04-20- 来自专栏面经
【大模型学习】现代大模型架构（二）：旋转位置编码和SwiGLU
RoPE / SwiGLU前言✍ 上一篇我们把现代大模型的两件“基础设施”——GQA 注意力 和 RMSNorm + Pre-Norm 细讲了一遍，从多头注意力的演化一路讲到归一化的升级。 不同位置对应不同旋转角度。 直观理解： 不同位置的 token 被“旋转”到了不同方向上，注意力点积在比较两个向量时，自然就带上了相对位置差。 （真实面经）RoPE 用旋转把位置编码进 Q/K，使注意力只依赖“相对位置差”；编码函数本身是显式可计算的，任意位置都能算；相对位置 + 平滑旋转，让模型在没见过的更长上下文上，比传统绝对 PE 更容易 为什么大模型更喜欢用 SwiGLU？标准 FFN 只是一条 MLP 路径，所有通道共享同一个激活函数。
1.2K30编辑于 2025-11-20 - 来自专栏PPV课数据科学社区
世界杯11大数据:20位前冠军出战
随着全部32支参赛队的23人名单基本敲定，国际足联官方列出本届杯赛的11大数据，本届杯赛共有236人参加过世界杯，包括20位前冠军，最年轻及最年长的球队分别是加纳和阿根廷，所有球员的平均年龄为 岁零1个月，是本届杯赛最年轻的球员，也有望成为世界杯历史第9年轻的球员，但即便是喀麦隆历史，也有3名球员出征世界 杯时比他年轻，分别是埃托奥（17岁零3个月）、奥莱姆贝（17岁零6个月）以及宋（17岁零11
84560发布于 2018-04-19 - 来自专栏NewBeeNLP
聊聊大模型位置编码及其外推性
但是由于显存资源的限制，这些大模型在真正在训练过程中不一定要训练这么长的文本，通常在预训练时只会设计到4k左右。 因此 如何确保在模型推理阶段可以支持远远超过预训练时的长度 ，是目前大模型的核心问题之一，我们将这一问题归为 大模型的外推性 。 大模型的外推性目前主要在这两个方面考虑，也是提升最有效的两个角度： 寻找或设计合适的位置编码； 设计局部注意力机制。 本文从这两方面进行深度探讨大模型的位置编码和外推性问题。 m \theta \\ \sin m \theta & \cos m \theta \end{array}\right)\left(\begin{array}{cc} W_{\{q, k\}}^{(11 三者注意力混合起来后得到第四张图，这也是普遍训练超长文本大模型时采用的方法。
2.7K41编辑于 2023-09-15 - 来自专栏灯塔大数据
必看 ：大数据挖掘中易犯的11大错误
4 只靠数据来说话(Listen(only)totheData) IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据+工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 4b.经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常不可信。 给数据加上时间戳，避免被误用。 6 抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
71670发布于 2018-04-09 - 来自专栏深入浅出区块链技术
深入Solidity数据存储位置
数据位置 → 概述 数据位置 → 规则 函数参数的规则 函数主体的规则 数据位置 → 行为 映射的（边缘）情况 总结 参考文献 简介 作为一个对自己事业充满热情的人，一个工业炉的建造者和翻新者，我的父亲决定把我送到工业工厂去工作 其中一些操作码指示 EVM 从/向不同的位置读写数据。EVM 需要这些多个数据位置来正确完成其工作。 在一个工厂里，操作工作和材料可以在多个地方找到。 数据位置 → 概述 本文旨在对这些不同的数据位置做一个很好的概述，数据可以被写入和读出。我们将看到，有些位置是只读的，不能写入，而其他位置是可变的，里面存储的值可以被编辑。 主要 EVM 数据位置的基础知识也在以太坊黄皮书 第 9 章节中有说明[10] 存储 智能合约的存储相当于工业机库上的存储架单元，Petrebels[11] on Unsplash 在以太坊中，每个特定地址的智能合约都有自己的 Solidity 文档中提到了以下内容： "数据位置不仅与数据的持久性有关，而且还与赋值的语义有关"。 在指定函数体内部的数据位置时，必须考虑两个主要问题：效果和 Gas 消耗。
1.6K10编辑于 2022-11-07 - 来自专栏frytea
时空位置与大数据
（来源，ZDNET《数据中心2013：硬件重构与软件定义》年度技术报告） 在这些数据中，除了人们日常消费、生活、交通产生的数据之外，基于位置的数据正在其中发挥着越来越重要的作用，基于位置的数据挖掘成果丰硕 截止至2020年1月5日，高德位置开放平台日均处理近1000亿次的定位及路线规划请求，百度地图开放平台日均处理1,200亿次位置服务请求，腾讯位置大数据日均定位量超过1100亿。 比如人们可以在 腾讯位置大数据 看到位置流量趋势、区域热力图以及人口迁徙图。 ? 参考文献 盘点中国2013行业数据量 大数据史记2013：盘点中国2013行业数据量（上） 2019年第三季度中国城市活力研究报告 高德位置开放平台 百度地图开放平台 腾讯位置大数据 Author: Frytea Title: 时空位置与大数据 Link: https://blog.frytea.com/archives/289/ Copyright: This work by TL-Song
1.4K20发布于 2020-07-16 - 来自专栏周末程序猿
机器学习|从0开始大模型之位置编码
的token和位置关系通过向量表示出来，作为训练的输入数据，如上图，位置编码最终会变成： [ [P00, P01, P02 ... P0d], [P10, P11, P12 ... 0], [1, 1, 1] ] 从上可以表示看出，较高比特位的交替频率低于较低比特位，存在周期性bit位变化，符合三角函数的周期性，而且三角函数的取值范围是[-1, 1]，输出浮点数，并且数据连续 0. ] [ 0.84147098 0.54030231 0. ] [ 0.90929743 -0.41614684 0. ]] 4、大模型训练中的位置编码代码 在我们从0训练大模型中，其位置编码的实现如下： def precompute_pos_cis(dim: int, seq_len: int, theta: float = 10000.0): ，和相对位置编码相比，RoPE 具有更好的外推性，Meta 的 LLAMA 和 清华的 ChatGLM 都使用该编码，目前是大模型相对位置编码中应用最广的方式之一，具体原理由于篇幅原因就不讲了，可以看看这篇文章
1.5K10编辑于 2025-02-27 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。本文适用于多维建模，不使用于3NF建模。 用户想要掩盖哪些数据，想要显示哪些数据，如果只有汇总数据，那么你已经设定了数据的使用模式，当用户想要深入挖掘数据时他们就会遇到障碍。 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 原则9、创建一致的维度集成整个企业的数据 对于企业数据仓库一致的维度，是最基本的原则，在ETL系统中管理一次，然后在所有事实表中都可以重用，一致的维度在 整个维度模型中可以获得一致的描述属性，可以支持从多个业务流程中整合数据 原则11、基于OLAP分析各操作进行维度设计指导 从结果反思设计过程，基于OLAP钻取、上钻、下钻、切片、切块的业务需求，设计你的维度模型。 三、未完待续
2.3K30发布于 2019-01-14 - 来自专栏深入浅出区块链技术
深入Solidity数据存储位置 - 存储
译文出自：登链翻译计划[1] 译者：翻译小组[2] 校对：Tiny 熊[3] 这是深入 Solidity 数据存储位置[4]系列的另一篇。 在今天的文章中，我们将更详细地介绍 EVM 中的一个重要数据位置：存储（Storage）。 我们将看到合约存储的布局是如何工作的，storage引用。 存储的基本原理 智能合约的存储是一个持久的可读可写的数据位置。意思是说，如果数据在一次交易中被写入合约存储，一旦交易完成，它就会持久存在。 这与内存或调用数据相反，后者是线性数据位置（增长的字节数组），你通过偏移量（字节数组中的索引）访问数据。 由于newProposal变量是一个结构体（复杂类型），我们必须指定之后 EVM 操作和编辑这个变量时操作的数据位置，这里使用一个storage（存储）引用。 是什么意思呢？
2.7K30编辑于 2022-11-07 - 来自专栏时悦的学习笔记
使用BBED定位数据位置
上节我们介绍了使用BBED读取数据文件 这节内容为使用BBED定位数据位置 我们通过定位数据库中表其中一列的具体位置来讲解bbed的操作 1. 3.3 设置offset确保处在该块的起始位置 BBED> set offset 0 ? 4. 可以看出已经找到了 5.验证结果 5.1 设置偏移量 上面我们已经定位到了 5,1800134位置，offset是0，接下来我们设定offset为4215 BBED> set offset 4215 5.2 dump数据 dump数据 BBED> d /v ? 5.3 dump更多数据 我们可以使用count参数获取更多数据 d /v count 64 ?
91730发布于 2020-08-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号