- 综合排序
- 最热优先
- 最新优先
- 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (11) 变形记
在传统模式下，数据从网络和文件之间的传输需要经过4次拷贝，4次上下文切换和4次系统调用： 为了减少上下文切换以及数据拷贝带来的性能开销，Kafka使用了Linux系统调用mmap来处理其索引文件，将其映射到用户态进程可见的内存空间 而AI程序运行在GPU上，如何让GPU也利用内存零拷贝的技术来快速直接存取磁盘上的内容呢？ NVidia给出的答案是：GPU Direct Storage。 CPU读取NVMe SSD，获得存有NVMe SSD数据的一块内存缓冲区地址；（可以使用DMA，但也有上下文切换和进入内核的环节） 3. CPU将这段地址给GPU，并让GPU发起DMA，从这块内存缓冲区中拉取数据； 4. GPU通过PCI-E向RC发起DMA，拉取数据； 5. 这涉及到磁盘数据的组织问题。
35810编辑于 2023-11-27 - 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
92912编辑于 2021-12-06 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.4K100发布于 2018-04-11 - 来自专栏「3306 Pai」社区
「3306π」8月11日成都站-技术大咖线下小聚
邀您加入3306π技术分享第三站！ 成都 8月 Aug 11th 我们来了，不见不散！ 活动信息 主办：「3306π」社区主办 协办：爱可生、腾讯云、知数堂基情赞助支持 时间：2018年8月11日 13:30-18:10 地点：成都市高新区天府三街198号 腾讯成都大厦 先后在阿里云、爱可生担任数据库运维，目前为爱可生数据库产品负责人，MySQL技术专家。 分享时间：17：30-18：10 分享议题：《深入数据库同步技术研究》 [ 许老师专访请点击 ] 活动报名 报名链接：https://www.bagevent.com/event/1627228 关于 「3306π」社区 围绕 MySQL 核心技术，将互联网行业中最重要的数据化解决方案带到传统行业中；囊括其他开源技术Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm
69930发布于 2018-08-15 - 来自专栏全栈程序员必看
淘宝双11大数据分析（数据可视化）
文章目录 前言 本篇环境 结果展示 项目结构 前言 这一篇是最终篇，也是展示数据分析之后的结果的一篇。 其他文章： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 淘宝双11大数据分析（Hive 分析篇-上） 淘宝双11大数据分析（Hive 分析篇-下） 淘宝双11大数据分析（Spark
5.8K20编辑于 2022-09-14 - 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.4K11编辑于 2023-04-07 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。
1.6K31发布于 2019-01-08 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。
1.2K30发布于 2019-04-19 - 来自专栏PPV课数据科学社区
大数据挖掘中易犯的11大错误
按照Elder博士的总结，这11大易犯错误包括： 0.缺乏数据(LackData) 1.太关注训练(FocusonTraining) 2.只依赖一项技术(RelyonOneTechnique) 3.提错了问题 重抽样技术包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。 2.只依赖一项技术(RelyonOneTechnique) IDMer：这个错误和第10种错误有相通之处，请同时参照其解决方法。没有对比也就没有所谓的好坏，辩证法的思想在此体现无遗。 给数据加上时间戳，避免被误用。 6.抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”? ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。
71870发布于 2018-04-20 - 来自专栏PPV课数据科学社区
【译文】关于数据科学难以忽视的11大真相
. 9、Presentation is key - be a master of Power Point. 10、All models are false, but some are useful. 11 You need to get your hands dirty. 1、 数据都是没有清洗过的。 2、 你总是需要花费大量的时间准备和清洗数据。 3、 95%的任务不需要深度学习。 11、没有完全自动化的数据科学。很多你需要人工手动操作。 翻译：lily PPV课原创编译 转载请注明出处 原文链接：http://www.ppvke.com/Answer/? 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复“可视化”查看数据可视化专题-数据可视化案例与工具 5、回复“禅师”查看当禅师遇到一位理科生 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
81070发布于 2018-04-20 - 来自专栏华章科技
干货 ：数据挖掘中易犯的11大错误
11大易犯错误——Elder博士 0. 缺乏数据（Lack Data） 1. 太关注训练（Focus on Training） 2. 只依赖一项技术（Rely on One Technique） 3. 提错了问题（Ask the Wrong Question） 4. 重抽样技术包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。 2. 给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。
29220发布于 2018-08-13 - 来自专栏大数据知识
大数据5大关键处理技术
云计算技术、物联网等技术快速发展，多样化已经成为数据信息的一项显著特点，为充分发挥信息应用价值，有效存储已经成为人们关注的热点。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 这就需要对数据的存储技术和存储模式进行创新与研究，跟上数字化存储的技术的发展步伐，给用户提供一个具有高质量的数据存储体验。 大数发掘技术，目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术 了解跟多相关 大数据培训 技术知识，欢迎关注小编。
10.8K30发布于 2021-03-12 - 来自专栏ThoughtWorks
大会推荐：6月10日、11日GMTC全球大前端技术大会
经常关注 GMTC 全球大前端技术大会的同学应该会发现，今年的 GMTC 没有单独策划 Flutter 和小程序相关的专题了，跟跨端这一主题相关的，只保留了一个跨端技术专题，关注 React Native 以上就是今年的 GMTC 北京站对于「跨端技术」专题的思考，我们邀请了字节跳动 Flutter Infra 团队负责人董岩担任出品人，为专题质量把关。 本次大会中，还有低代码、大前端 DevOps、前端框架新体验、大前端监控、移动端性能与效率优化等专题。 同时，我们也关注大前端破圈的有效姿势，首次聚焦 B 端研发效能、IoT 动态应用开发、TypeScript、云研发实践、大前端技术融合与跨界等，并邀请 winter 等大咖前来参与“师兄帮帮忙”晚场交流活动 部分精彩话题已上线—— 6 月 10-11 日，北京国际会议中心见。
1.6K20编辑于 2022-05-17 - 来自专栏灯塔大数据
必看 ：大数据挖掘中易犯的11大错误
重抽样技术包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。 2 只依赖一项技术(RelyonOneTechnique) IDMer：这个错误和第10种错误有相通之处，请同时参照其解决方法。没有对比也就没有所谓的好坏，辩证法的思想在此体现无遗。 给数据加上时间戳，避免被误用。 6 抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
67370发布于 2018-04-09 - 来自专栏PPV课数据科学社区
世界杯11大数据:20位前冠军出战
随着全部32支参赛队的23人名单基本敲定，国际足联官方列出本届杯赛的11大数据，本届杯赛共有236人参加过世界杯，包括20位前冠军，最年轻及最年长的球队分别是加纳和阿根廷，所有球员的平均年龄为 岁零1个月，是本届杯赛最年轻的球员，也有望成为世界杯历史第9年轻的球员，但即便是喀麦隆历史，也有3名球员出征世界 杯时比他年轻，分别是埃托奥（17岁零3个月）、奥莱姆贝（17岁零6个月）以及宋（17岁零11
74460发布于 2018-04-19 - 来自专栏加米谷大数据
五大最核心的大数据技术
五大最核心的大数据技术 大数据技术有5个核心部分，分别是数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个核心部分都有哪些核心技术？ 一起来了解一下吧 ? 预测分析 预测分析是一种数据挖掘方案，可在结构化和非结构化数据中使用算法和技术,进行预测、预报和模拟。许多公司利用大数据技术来收集海量数据、训练模型并发布预测模型来提高业务水平或者避免风险。 NoSQL数据库 NoSQL泛指非关系型的数据库，这种工具可以为大数据建立快速、可扩展的存储库。 数据可视化 数据可视化是成为研究数据展示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的数据可视化技术。 它包含信息分析，自然语言处理和机器学习领域的大量技术创新，认知系统专门获取海量的不同类型的数据，根据信息进行推论，从自身与数据、与人们的交互中学习。
1.7K30发布于 2019-01-09 大模型技术之数据结构与算法
这些问题的解决，无一不依赖于深厚的数据结构与算法功底。 不懂这些底层逻辑，就无法真正驾驭大模型，更谈不上通过技术创新为企业创造核心价值。因此，高薪的本质是对“不确定性”的掌控力，而这种掌控力源于对算法数学原理的深刻理解。 四、创新边界：算法思维决定技术突破的上限大模型的发展已进入深水区，单纯依靠堆砌数据和扩大规模带来的边际效应正在递减。未来的突破点在于算法层面的创新：新的架构设计、新的训练范式、新的推理策略。 对于从业者而言，如果缺乏算法思维，只能跟随别人的脚步，做技术的追随者；而具备深厚算法功底的人，则有可能成为规则的制定者。 只有建立起这样坚实的地基，学生才能在快速变化的AI浪潮中站稳脚跟，不被新技术淘汰。对于个人学习者而言，无论大模型如何迭代，投入时间深耕算法永远是回报率最高的投资。
13710编辑于 2026-03-20- 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
摘要：云计算打破了传统的商业模式，大数据也持续以指数型增长，技术人员和投资人对于当前技术发展趋势都保持密切关注，因为这有可能直接影响到他们2016年及今后的商业行动。 从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 3 无人驾驶技术 我们已经见证了汽车技术巨大的突破：谷歌正在无人驾驶汽车技术上大步前进，而特斯拉则退出了续航里程超长、无人驾驶的电动汽车，让我们能够想象未来汽车可能类似于个人的士，受智能手机控制。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.6K60发布于 2018-04-10 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
用户想要掩盖哪些数据，想要显示哪些数据，如果只有汇总数据，那么你已经设定了数据的使用模式，当用户想要深入挖掘数据时他们就会遇到障碍。 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 原则9、创建一致的维度集成整个企业的数据 对于企业数据仓库一致的维度，是最基本的原则，在ETL系统中管理一次，然后在所有事实表中都可以重用，一致的维度在 整个维度模型中可以获得一致的描述属性，可以支持从多个业务流程中整合数据 需求和事实之间的平衡是DW/BI 从业人员必须面对的事实，无论是你集中在维度建模，还是项目策略、技术/ETL/BI架构或开发/维护规划都要面对这一事实。 原则11、基于OLAP分析各操作进行维度设计指导 从结果反思设计过程，基于OLAP钻取、上钻、下钻、切片、切块的业务需求，设计你的维度模型。 三、未完待续
2.2K30发布于 2019-01-14 - 来自专栏LiveEdu在线科技教育平台
2017编程趋势预测：10大技术大热，10大技术遇冷
不同的是，由于编程重视的是高效，用户化和使用方便，因此编程技术需要不断更新换代。那么，在即将到来的2017年和未来的几年内，会有哪些新技术出现，成为新的潮流，又有哪些技术的热潮会渐渐消退呢？ SVG和HTML包含了一大堆标签，Web开发者使用起来往往更方便，现在还有了大的APIs，让你可以在画布对象上详细地绘画图形，通常还会提供视频卡来帮助你使用。 新的Web应用程序是从前端到有大量内容的大数据库。当Web应用程序需要信息时，它就从数据库中提取信息并将信息注入到本地的模具中。 现在没有必要使用Web附加设备所需要的所有东西来标记数据，以便创建一个网页了。数据层是完全独立于演示和格式层。 Android大热, iOS遇冷 几年前，苹果专卖店门前排起的“人龙”还记得吧？
1.7K100发布于 2018-05-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号