- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储公众号：王知鱼
Samsung：大IU落地的应用生态（LBS实践）
从传统的512B扇区到如今QLC闪存和大IU的演进，SSD的性能瓶颈日益凸显。为了突破这些限制，三星等行业领导者正积极探索主机操作系统层面的优化方案，如大块大小（LBS）技术。 本文将带您抽丝剥茧，解析LBA、IU及LBS之间的复杂关系，揭示NVMe和OCP等标准在其中的作用，并展望LBS如何为主机软件生态系统带来“免费”的性能提升，最终实现QLC SSD在数据库等工作负载下的卓越表现 Fig-16：在主机操作系统中启用大块大小 (LBS) 图片讨论了在主机操作系统层面启用大块大小（LBS）以更好地支持 QLC 和使用大 IU 的 SSD 的工作。 LBS 结论 增加 LBA 扇区大小很困难。 对原子掉电保护提出新要求是启用大 IU 的最佳解决方案。 Fig-17：LBS如何增益大IUs 图片解释了如何在主机操作系统层面通过一种称为“大块大小（LBS）”的方法来更好地支持使用大 IU 的 SSD。
58810编辑于 2025-04-21 - 来自专栏原创
构建基于LBS的大数据应用
构建基于LBS的大数据应用，一般的实现流程为：通过信息收集后进行基础数据的整理，数据挖掘/机器学习，服务搭建以及数据可视化等。 ? 数据挖掘的基本流程 基础数据的处理主要包括：数据集成和一些部分数据处理。 数据集成，数据挖掘或统计分析可能用到来自不同数据源的数据，我们需要将这些数据集成在一起。 数据挖掘时只根据数据库中的数据，用合适的数据挖掘算法进行分析，得出有用的信息。其中，模型算法质量的评价是很重要的一步。且数据挖掘是一个循环往复的过程。 基于LBS的大数据应用需要解决很多问题：基础数据问题比如海量数据流（>20W 条/s）、数据处理性能复杂计算（定位和统计）、准确率、秒级实时性要求、以及数据的实时性等。 最后，基于大数据的LBS应用，可以使用分布式流式计算框架，构建数据闭环，从而实现持续优化基础数据。 ? 目前的成功案例有： 1.杭州白马湖动漫节的安全保障。
2.8K70发布于 2018-03-21 - 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 当大表和小表join时，用map-side join能显著提高效率。 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀 ，甚至出现数据倾斜，消耗内存大，1.x之前spark使用hash，适合处理中小规模，1.x之后，增加了Sorted shuffle，Spark更能胜任大规模处理了。
96212编辑于 2021-12-06 - 来自专栏数据结构与算法
11:大整数减法
11:大整数减法 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 求两个大的正整数相减的差。 输入共2行，第1行是被减数a，第2行是减数b(a > b)。 char a[10001]; 6 char b[10001]; 7 int a1[10001]; 8 int b1[10001]; 9 int c[10001]; 10 int main() 11
1.5K100发布于 2018-04-11 - 来自专栏全栈程序员必看
淘宝双11大数据分析（数据可视化）
文章目录 前言 本篇环境 结果展示 项目结构 前言 这一篇是最终篇，也是展示数据分析之后的结果的一篇。 其他文章： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 淘宝双11大数据分析（Hive 分析篇-上） 淘宝双11大数据分析（Hive 分析篇-下） 淘宝双11大数据分析（Spark
6.1K20编辑于 2022-09-14 - 来自专栏深度学习之tensorflow实战篇
mongodb11天之屠龙宝刀（五）lbs地理位置检索：存储经纬度以及查询
mongodb11天之屠龙宝刀（五）lbs地理位置检索：存储经纬度以及查询 原文连接：直通车 基本原理 LBS,存储每个地点的经纬度坐标,搜寻附近的地点,建立地理位置索引可提高查询效率。 2d index: 使用2d index 能够将数据作为2维平面上的点存储起来,在MongoDB 2.2以前推荐使用2d index索引。 2dsphere index: 2dsphere index 支持球体的查询和计算,同时它支持数据存储为GeoJSON 和传统坐标。 2dsphere操作案例 插入 lbs; db.lbs.insert( { loc:{ type: "Point", 地理位置索引 db.lbs.ensureIndex( { loc: "2dsphere" } ) ?
87330发布于 2019-02-14 - 来自专栏PPV课数据科学社区
大数据挖掘中易犯的11大错误
按照Elder博士的总结，这11大易犯错误包括： 0.缺乏数据(LackData) 1.太关注训练(FocusonTraining) 2.只依赖一项技术(RelyonOneTechnique) 3.提错了问题 如果数据+工具就可以解决问题的话，还要人做什么呢4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6.抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”? ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
73870发布于 2018-04-20 - 来自专栏PPV课数据科学社区
【译文】关于数据科学难以忽视的11大真相
. 9、Presentation is key - be a master of Power Point. 10、All models are false, but some are useful. 11 You need to get your hands dirty. 1、 数据都是没有清洗过的。 2、 你总是需要花费大量的时间准备和清洗数据。 3、 95%的任务不需要深度学习。 11、没有完全自动化的数据科学。很多你需要人工手动操作。 翻译：lily PPV课原创编译 转载请注明出处 原文链接：http://www.ppvke.com/Answer/? 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复“可视化”查看数据可视化专题-数据可视化案例与工具 5、回复“禅师”查看当禅师遇到一位理科生 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
84470发布于 2018-04-20 - 来自专栏华章科技
干货 ：数据挖掘中易犯的11大错误
11大易犯错误——Elder博士 0. 缺乏数据（Lack Data） 1. 太关注训练（Focus on Training） 2. 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 6. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 10.
31320发布于 2018-08-13 - 来自专栏深度学习之tensorflow实战篇
mongodb11天之屠龙宝刀（五）lbs地理位置检索：存储经纬度以及查询
mongodb11天之屠龙宝刀（五）lbs地理位置检索：存储经纬度以及查询 基本原理 LBS,存储每个地点的经纬度坐标,搜寻附近的地点,建立地理位置索引可提高查询效率。 2d index: 使用2d index 能够将数据作为2维平面上的点存储起来,在MongoDB 2.2以前推荐使用2d index索引。 2dsphere index: 2dsphere index 支持球体的查询和计算,同时它支持数据存储为GeoJSON 和传统坐标。 2dsphere操作案例 插入 lbs; db.lbs.insert( { loc:{ type: "Point", 地理位置索引 db.lbs.ensureIndex( { loc: "2dsphere" } ) ?
2.2K40发布于 2018-03-19 - 来自专栏灯塔大数据
必看 ：大数据挖掘中易犯的11大错误
4 只靠数据来说话(Listen(only)totheData) IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据+工具就可以解决问题的话，还要人做什么呢？ 4a.投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 4b.经过设计的实验：某些实验设计中掺杂了人为的成分，这样的实验结果也常不可信。 给数据加上时间戳，避免被误用。 6 抛弃了不该忽略的案例(DiscountPeskyCases) IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 (问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了) 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。
69170发布于 2018-04-09 - 来自专栏PPV课数据科学社区
世界杯11大数据:20位前冠军出战
随着全部32支参赛队的23人名单基本敲定，国际足联官方列出本届杯赛的11大数据，本届杯赛共有236人参加过世界杯，包括20位前冠军，最年轻及最年长的球队分别是加纳和阿根廷，所有球员的平均年龄为 岁零1个月，是本届杯赛最年轻的球员，也有望成为世界杯历史第9年轻的球员，但即便是喀麦隆历史，也有3名球员出征世界 杯时比他年轻，分别是埃托奥（17岁零3个月）、奥莱姆贝（17岁零6个月）以及宋（17岁零11
79260发布于 2018-04-19 - 来自专栏用户6336521的专栏
本地外卖平台如何利用LBS大数据进行用户画像精准营销
大数据火不火想必大家心中有数，尤其在LBS定位功能的前提下，能够快速找到附近的商圈，吃喝玩乐可以说是样样不缺了。接下来我们先来认识一下LBS定位功能。 u=1326731645,3839116331&fm=26&gp=0.jpg LBS，基于用户定位数据的服务，它包括两层含义：一是确定移动设备所在的地理位置，其次是提供与位置相关的服务。 移动互联网先天被打上了LBS的标签，其成为移动互联网的核心因素之一，这也是移动互联网区别于互联网的一大特征。 用户的性别、年龄、收入等相对稳定的用户标签，能清晰地描绘用户是怎样样的人；用户在APP上的行为轨迹、订单数据等具有一定时效性的行为数据， 表明用户最近对什么感兴趣；用户的定位数据，无疑是用户此时此刻打开 而利用LBS获得精准用户主要做到以下几点，一让用户养成用外卖APP的习惯，能够在更多的地理位置得到用户分布的大数据；二优化立足于地理位置建立的周边搜索，增强用户对外卖APP的信任感；三根据不同的地理位置获取不同的福袋等等
3.3K40发布于 2019-11-15 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。本文适用于多维建模，不使用于3NF建模。 用户想要掩盖哪些数据，想要显示哪些数据，如果只有汇总数据，那么你已经设定了数据的使用模式，当用户想要深入挖掘数据时他们就会遇到障碍。 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 原则9、创建一致的维度集成整个企业的数据 对于企业数据仓库一致的维度，是最基本的原则，在ETL系统中管理一次，然后在所有事实表中都可以重用，一致的维度在 整个维度模型中可以获得一致的描述属性，可以支持从多个业务流程中整合数据 原则11、基于OLAP分析各操作进行维度设计指导 从结果反思设计过程，基于OLAP钻取、上钻、下钻、切片、切块的业务需求，设计你的维度模型。 三、未完待续
2.2K30发布于 2019-01-14 - 来自专栏数据 学术 商业 新闻
把脉城市功能 | 基于LBS大数据量化城市尺度动态功能
然而以往的研究主要基于统计数据集，问卷调查结果和其他相关数据来定性或定量的定义城市的功能，但是，最新的统计数据并不总是容易获得。 创新点 本文基于LBS大数据，首次在城市尺度量化城市动态功能，并对比了全国不同城市动态功能的异同点。 2.研究框架 2.1 研究数据 核心数据集包括收集自2018年10月15日至11月28日共32个工作日的腾讯定位请求数据以及高德地图开放平台2018年的POIs数据，其中，腾讯定位请求数据的时间分辨率为小时 然后，将poi数据重分类为6类以代表城市可以为居民提供的6大基本功能（商业、工作教育、居住、交通、文化娱乐和户外休闲），并借助TF-IDF方法缓解因poi不同类型数量之间巨大差异所带来的问题。 进一步，为了探究城市功能结构和分布特征的规律和差异，本文构建了城市功能均衡指数（每个城市在同一时段6大功能结构比例的标准差）。
77330发布于 2021-02-22 - 来自专栏CDA数据分析师
数据挖掘过程中绝不能犯这11大错误
只靠数据来说话（Listen (only) to the Data） IDMer：“让数据说话”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！ 如果数据＋工具就可以解决问题的话，还要人做什么呢？ 投机取巧的数据：数据本身只能帮助分析人员找到什么是显著的结果，但它并不能告诉你结果是对还是错。 给数据加上时间戳，避免被误用。 7. 抛弃了不该忽略的案例（Discount Pesky Cases） IDMer：到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？ ，而是“这就有点奇怪了……” 数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。 （问题出在数据集的划分上。在把原始数据集划分为训 练集和测试集时，原始数据集中违约客户的权重已经被提高过了） 解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。 11.
72060发布于 2018-02-08 腾讯地图+AI：基于大模型的智能化位置服务(LBS)核心能力与商业实践概要
其本质是将腾讯地图的开发经验与LBS大数据沉淀为AI编程技能包、大模型可直接调用的MCP工具及多模态知识库。 AI 位置服务 (LBS智能问答与搜索) 核心功能：自然语言理解意图搜地点；结合实时路况与偏好生成个性化路线；融合腾讯地图多模态知识库与大模型能力的LBS智能问答（一套API支持App、小程序、车机等多端 AI 选址 硬核指标：基于腾讯LBS大数据，覆盖小区级人群画像（人口基础、消费能力、兴趣偏好），数据按月更新。支持零食、茶饮、便利店、母婴、健身等业态定制。 2. 大模型深度适配：MCP工具将原始地图接口结果进行语义化转换，更适合大模型理解和编排。 成效：实现快速上线附近门店、地图选点、点聚合展示功能；一键输出门店分布热力图、轨迹图等可视化数据大屏。
15510编辑于 2026-06-02- 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化select t.x te.xfrom o_detail tleft join p_detail teon t.A = te.A and t.B t.A = '' and t.B = ''and te.C = '' and t.D = 0group by t.B,t.C,te.X,te.id,te.Y分析执行计划因为te表未用到索引造成全表扫描大表总数据条数那就看看为什么没走索引 怎么才能走索引 业务能不能优化 影不影响主数据？ 先强制走te表索引或者覆合索引效果显著但是现在在模拟生产数据后te表仍然无法走任何索引思路一：查询t表，te表，全部索引show index from tshow index from te字段索引都有为什么不走
32430编辑于 2023-06-30 - 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化 select t.x te.xfrom o_detail t left join p_detail te on t.A = te.A and 因为te表未用到索引造成全表扫描 大表总数据条数 ? 那就看看为什么没走索引 怎么才能走索引 业务能不能优化 影不影响主数据？ 但是现在在模拟生产数据后te表仍然无法走任何索引 思路一： 查询t表，te表，全部索引 show index from t show index from te 字段索引都有为什么不走？
47020发布于 2021-07-22 - 来自专栏数据D江湖
2022双11大促复盘报告
来源：魔镜市场情报 公众号后台回复： 报告 获取源文件 欢迎添加本站微信：datajh （可上下滑动或点单个图片放大左右滑动查看）
12.5K21编辑于 2022-12-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号