- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储公众号：王知鱼
Samsung：大IU落地的应用生态（LBS实践）
从传统的512B扇区到如今QLC闪存和大IU的演进，SSD的性能瓶颈日益凸显。为了突破这些限制，三星等行业领导者正积极探索主机操作系统层面的优化方案，如大块大小（LBS）技术。 本文将带您抽丝剥茧，解析LBA、IU及LBS之间的复杂关系，揭示NVMe和OCP等标准在其中的作用，并展望LBS如何为主机软件生态系统带来“免费”的性能提升，最终实现QLC SSD在数据库等工作负载下的卓越表现 Fig-16：在主机操作系统中启用大块大小 (LBS) 图片讨论了在主机操作系统层面启用大块大小（LBS）以更好地支持 QLC 和使用大 IU 的 SSD 的工作。 LBS 结论 增加 LBA 扇区大小很困难。 对原子掉电保护提出新要求是启用大 IU 的最佳解决方案。 Fig-17：LBS如何增益大IUs 图片解释了如何在主机操作系统层面通过一种称为“大块大小（LBS）”的方法来更好地支持使用大 IU 的 SSD。
58810编辑于 2025-04-21 - 来自专栏原创
构建基于LBS的大数据应用
构建基于LBS的大数据应用，一般的实现流程为：通过信息收集后进行基础数据的整理，数据挖掘/机器学习，服务搭建以及数据可视化等。 ? 数据挖掘的基本流程 基础数据的处理主要包括：数据集成和一些部分数据处理。 数据集成，数据挖掘或统计分析可能用到来自不同数据源的数据，我们需要将这些数据集成在一起。 数据挖掘时只根据数据库中的数据，用合适的数据挖掘算法进行分析，得出有用的信息。其中，模型算法质量的评价是很重要的一步。且数据挖掘是一个循环往复的过程。 基于LBS的大数据应用需要解决很多问题：基础数据问题比如海量数据流（>20W 条/s）、数据处理性能复杂计算（定位和统计）、准确率、秒级实时性要求、以及数据的实时性等。 最后，基于大数据的LBS应用，可以使用分布式流式计算框架，构建数据闭环，从而实现持续优化基础数据。 ? 目前的成功案例有： 1.杭州白马湖动漫节的安全保障。
2.8K70发布于 2018-03-21 - 来自专栏大数据知识
大数据5大关键处理技术
文章转自：真灼社 大数据已经逐渐普及，大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 4）数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 5）结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。 5、统计分析方法 在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。 5. 数据质量和数据管理 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理无论是在学术研究还是在商业应用领域都极其重要，各个领域都需要保证分析结果的真实性和价值性。
11K30发布于 2021-03-12 - 来自专栏Java学习网
Android数据存储实现的5大方式
Android数据存储实现的5大方式 数据存储在开发中是使用最频繁的，在这里主要介绍Android平台中实现数据存储的5种方式，更加系统详细的介绍了5种存储的方法和异同。 下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。在 Android 应用程序中使用 SQLite，必须自己创建数据库，然后创建表、索引，填充数据。 给表添加数据 上面的代码，已经创建了数据库和表，现在需要给表添加数据。有两种方法可以给表添加数据。 例如： db.execSQL(“INSERT INTO widgets (name, inventory)”+ “VALUES (‘Sprocket’, 5)”); 另一种方法是使用 SQLiteDatabase 如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5.
8.3K90发布于 2018-02-26 - 来自专栏杨飞@益术
Android数据存储实现的5大方式
下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。 给表添加数据 上面的代码，已经创建了数据库和表，现在需要给表添加数据。有两种方法可以给表添加数据。 例如： db.execSQL(“INSERT INTO widgets (name, inventory)”+ “VALUES (‘Sprocket’, 5)”); 另一种方法是使用 SQLiteDatabase 第四种： 使用ContentProvider存储数据 Android这个系统和其他的操作系统还不太一样，我们需要记住的是，数据在Android当中是私有的，当然这些数据包括文件数据和数据库数据以及一些其他类型的数据 定义你要返回给客户端的数据列名。如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5.
4.5K20发布于 2019-02-21 - 来自专栏CDA数据分析师
译文 | 新兴大数据企业的5大挑战！
但是，近几年，它在大多数数据驱动型企业中发挥着重要的作用。更重要的是，大数据可以帮助制定企业战略，提高运营效率，并加速企业成长。 与数据热潮随之而来的，是大量的金融投资。 大约75％的组织表示，他们已经在先进大数据设施上投入了大量资金或者在未来几年会投入大量资金。同时，一大批新兴大数据企业如雨后春笋般破土而出，以此满足企业客户不断增长的市场需求。 这里是当今新兴大数据企业面临的5大挑战： 1.人才匮乏 大数据是一个增长中的市场。六成的企业决策者都预计本年度会在大数据项目上投入更多资金，只有5%认为会有所减少。 5.激烈竞争 2015年，大数据的全球消费预计将达到1250亿，初创公司不必再走向大数据的路途上感到孤单，因为如SAP，微软和IBM这样的大企业也要面临残酷的竞争。 这里的教训：建立一个成功的大数据业务是不是为懦弱者准备的。但是，如果你为上面描述的五大挑战做好准备，那么，你就可以在大数据领域未来的发展过程中大显身手。
84950发布于 2018-02-23 - 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 ? 图3：自动驾驶的智能汽车。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5 大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.7K60发布于 2018-04-10 - 来自专栏PPV课数据科学社区
【资讯】大数据5大误区：大数据不是灵丹妙药
“预测分析”总体是指基于当前和历史数据，用数据分析为企业提供对未来事件的预测。 然而盛名之下，围绕大数据和预测分析产生了许多误区。尤其是下列的五种误区需要被驱散, 这样不同规模和阶段的企业才可以开始享用更明智、更高效的决策: 误区1: “大数据是灵丹妙药。” 大数据不是企业的灵丹妙药。相反, 更好的数据管理和分析是帮助企业做出更好决策的工具。就算“小数据”也可以为中小企业很好的利用在投资的路线图上，构建和多样化而无需有大型的IT投资。 对一些人来说,自下向上的方法涉及到IT人员和数据分析师实施一种持久的解决方案。 误区5:“我们需要做的就是雇佣咨询或技术公司,我们就会有预测分析。” 有一批企业把预测分析作为一种技术或一个软件问题。
71350发布于 2018-04-18 - 来自专栏用户6336521的专栏
本地外卖平台如何利用LBS大数据进行用户画像精准营销
大数据火不火想必大家心中有数，尤其在LBS定位功能的前提下，能够快速找到附近的商圈，吃喝玩乐可以说是样样不缺了。接下来我们先来认识一下LBS定位功能。 u=1326731645,3839116331&fm=26&gp=0.jpg LBS，基于用户定位数据的服务，它包括两层含义：一是确定移动设备所在的地理位置，其次是提供与位置相关的服务。 移动互联网先天被打上了LBS的标签，其成为移动互联网的核心因素之一，这也是移动互联网区别于互联网的一大特征。 用户的性别、年龄、收入等相对稳定的用户标签，能清晰地描绘用户是怎样样的人；用户在APP上的行为轨迹、订单数据等具有一定时效性的行为数据， 表明用户最近对什么感兴趣；用户的定位数据，无疑是用户此时此刻打开 而利用LBS获得精准用户主要做到以下几点，一让用户养成用外卖APP的习惯，能够在更多的地理位置得到用户分布的大数据；二优化立足于地理位置建立的周边搜索，增强用户对外卖APP的信任感；三根据不同的地理位置获取不同的福袋等等
3.3K40发布于 2019-11-15 - 来自专栏WeTest质量开放平台团队的专栏
5天2亿活跃用户，2017QQ“LBS+AR”天降红包活动后台揭密
前言 刚刚过去不久的QQ“LBS+AR”天降红包玩法在5天内达成了2.57亿用户参与、共计领取卡券和现金红包20.5亿次的成绩，得到用户的一致好评，赢得口碑、数据双丰收。 ? 、后台统计活动数据 5. 每台机器构建数据时都要去数据库读一次全量数据并排序，同时要在本地生成，每次大约耗时5分钟。 数据同步无感知，实现无缝切换，对业务零影响 二 地图打点与查点 基于LBS的活动离不开地理位置相关的业务交互。 假如每次数据缓存5秒，实际活动中约有8w条数据需要处理，每天活动分8场，100台逻辑层机器，对数据层的压力是400w次每秒，这个级别的读量几乎占满了全部Grocery性能。
90230发布于 2018-10-29 5大YashanDB数据库安全加固策略解析
YashanDB是一种高性能的分布式数据库，安全加固是确保数据库系统安全性和稳健性的关键环节。以下是五大YashanDB数据库安全加固策略的解析：1. 实施监控系统，跟踪所有数据库操作。2. 数据加密- 静态数据加密：对存储在数据库中的敏感数据进行加密，确保即便数据库被入侵，攻击者无法轻易获取明文数据。 - 传输加密：在数据传输过程中使用TLS/SSL等加密协议，保护数据在网络传输中的安全，防止中间人攻击。3. 定期备份与恢复- 数据备份策略：实施定期自动备份并确保备份数据的安全存储。 - 恢复测试：定期进行数据恢复演练，确保在数据丢失或损坏时能够迅速恢复，减少业务中断时间。4. 5. 定期安全更新和补丁管理- 版本管理：定期检查YashanDB及其依赖组件的版本，确保使用最新的安全补丁，以修补已知的安全漏洞。
24110编辑于 2025-11-14- 来自专栏PPV课数据科学社区
【趋势】大数据和存储领域5大突破技术
从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 图3：自动驾驶的智能汽车。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5、大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.2K100发布于 2018-04-24 - 来自专栏云社区全球资讯抢先看
5大数据挑战正在改变数据中心的面貌
引言：新的数据中心架构提出了新的数据挑战——数据捕获是如何驱动边缘到核心的数据中心架构的。 数据显然不是以前的样子了！各种组织都在寻找数据的新用途，这已经成为他们数字化转型的一部分。 大致来说，我们可以将这些新数据分为两类： 1，大数据：用于批量分析的大量聚合数据集。 2，快数据：来源非常广泛的数据集，这些数据用于做出快速性的决策。 图片] 图片来源于网络 在接下来的文章中，我将介绍新数据中心架构提出的前五大数据挑战 ： 1，数据采集正在推动边缘到核心的数据中心架构 新的数据正在从源头被捕获。 5，数据分析是未来计算密集型体系结构的驱动者 通过分析性质和特别化的机器学习，组织不得不保留更多的数据，以便将其聚合到大数据存储库中。当其应用于多个更大的数据源时，这些分析类型提供了更好的答案。
1.1K20发布于 2017-12-15 - 来自专栏数据 学术 商业 新闻
把脉城市功能 | 基于LBS大数据量化城市尺度动态功能
创新点 本文基于LBS大数据，首次在城市尺度量化城市动态功能，并对比了全国不同城市动态功能的异同点。 然后，将poi数据重分类为6类以代表城市可以为居民提供的6大基本功能（商业、工作教育、居住、交通、文化娱乐和户外休闲），并借助TF-IDF方法缓解因poi不同类型数量之间巨大差异所带来的问题。 结果发现，当城市被分为两个集群时（图5a，b-c），第一类城市（占总城市的39.8％）工作/教育和商业功能比例最高，这些城市主要位于省会城市和长江三角洲、珠江三角洲等发达的城市群（图5h）。 进一步，为了探究城市功能结构和分布特征的规律和差异，本文构建了城市功能均衡指数（每个城市在同一时段6大功能结构比例的标准差）。 （c-d）在凌晨和夜晚，不同集群城市的空间分布（1：小城市；2：中城市；3：大城市；4：特大城市；5：超大城市）。
77330发布于 2021-02-22 - 来自专栏企鹅号快讯
大咖分享：企业营销过程中的大数据5大途径！
今天软件开发的步骤涉及到使用大量的数据来提高效率。 大数据在企业营销中的使用案例 2F 更相关的内容 出版商可以通过利用他们丰富的数据来确定人们最可能喜欢的内容，从而向访问者提供更相关的内容。 5F 以机器为动力的分析 未来，数字营销人员必须与机器携手合作，分析数据并做出基于数据的决策。不管技术发展了多少，总需要一个人来监督它，这在复杂的情况下甚至更真实。 大数据分析领域没有人能独自完成，任何一个软件也不能。两者的结合将比其各部分的总和更强大。 大数据在市场营销中的四大好处 市场营销中的大数据还包括定制软件开发，服务提供商满足客户的营销需求。 如今，营销团队利用数据分析和信息的力量来增强他们的活动的影响力和影响力。看看以下大数据分析在市场营销中的最大好处。 1.规划 数据科学家为市场营销部门提供了对当前情况的极好分析。 营销人员总是在寻找一种使用大数据量的方法，而大数据量每秒钟都会被制作出来。随着数据科学的发展，现在有可能分析大部分的材料，并最终将其转化为富有成效的营销策略。大数据世界很快就会出现新的特性。
1.1K70发布于 2018-01-05 数据清洗，必须掌握的5大解决方案+4大步骤
一、数据清洗是什么及应用场景高质量的数据应用必须建立在干净可靠的基础之上，数据清洗正是数据治理体系中的关键战略环节。当原始数据从采集端流入处理流程，首先需要经历系统性的 “质检” 与 “加工”。 数据清洗是什么？数据清洗是对原始数据进行系统性审查、修正、转换与整合的过程。 具体而言，可能面临以下痛点：数据质量问题复杂多样数据中的“脏”法五花八门，常见的问题包括：（1）空值：某些字段缺失数据。（2）重复数据：同一记录在数据集中多次出现。 （3）错误数据：拼写错误、逻辑错误等。（4）异常值：超出正常范围的数据。（5）格式混乱：日期、数字、文本等格式不一致。（6）不一致数据：跨系统、跨表的数据存在差异。（7）冗余数据：不必要的重复信息。 例如，针对混乱的“利润”字段，如含￥100,000、(5,000)表示负利润，使用公式清洗：公式拆解：（1）判断首位是否为(（表示负数）。（2）若是：去掉￥、,、(、)，并在结果前加负号-。
54610编辑于 2025-09-26- 来自专栏云资讯小编的专栏
腾讯云将新增５大海外数据中心
据新华社消息，腾讯公司 25 日在新加坡举行的媒体发布会上宣布，腾讯云全球化布局全面提速，今年将新增５大海外数据中心，目的是为“走出去”的中资企业和海外企业拓展全球业务提供优质云服务。 新增的５大数据中心包括美国硅谷、德国法兰克福、韩国首尔、印度孟买和俄罗斯莫斯科数据中心。此前，腾讯云已经在多伦多、新加坡等地建立数据中心。 近半年，腾讯云扩建了北京、上海、广州等地的数据中心，连同分布在亚太、欧洲、北美和南美地区的 11 大海外合作数据节点，目前开放的全球服务节点已达 29 个，腾讯云也由此成为全球云计算基础设施最广泛的中国互联网云服务商
6.3K00发布于 2017-04-26 - 来自专栏大数据文摘
5大架构：细数数据平台的组成与扩展
这种方式有一个弊端是存储的数据量受限于内存的大小，数据量一大，索引也增大，数据就饱和了。 2）第二种方式是把大的索引结构，拆成很多小的索引来存储。 列式存储尤其适用于大表扫描，求均值、最大最小值、分组等聚合查询场景。 列式存储在MPP数据库里面应用广泛，例如RedShift、Vertica及hadoop上的Parquet等。这种结构适合需要大表扫描的数据处理问题，数据聚合类操作（最大最小值）更是他的主战场。 列式存储特别适合需要加载大的数据块，且数据块分到多个文件中的场景。Druid把一些近线实时数据放到写优化的存储中，然后随着时间的推移逐步把这些数据迁移到读优化的存储中。 5、流式处理架构 不像是批处理架构，把数据存储到HDFS上，然后在上面执行各种跑批任务。
1.9K80发布于 2018-05-22 YashanDB高效数据管理的5大实用技巧
在当今数据库技术快速发展的环境下，企业面临着日益增长的数据规模和复杂的业务需求，如何有效管理数据库性能瓶颈、保障数据一致性以及实现高可用性，成为数据库系统设计和应用中的关键挑战。 本文面向数据库管理员和系统架构师，围绕YashanDB的关键技术特性，详细解析五大实用技巧，旨在提升数据库的性能、可靠性和灵活性。 分布式SQL执行采用MPP架构，由CN协调节点生成执行计划，DN数据节点分布计算，利用高速内部互联总线完成数据传输和交换，支撑大规模数据处理。 五大实用技巧总结针对不同的业务场景科学选择单机、分布式或共享集群部署，合理调整实例资源配置，提高系统适应性和性能。 通过科学合理的技术应用，用户可有效提升数据库性能、保障数据一致性、实现稳定的业务连续性。
23810编辑于 2025-11-17- 来自专栏数据科学与人工智能
美国大数据智能理财平台的5大模式
不过，世易时移，近年来美国出现了智能投资市场，涌现出很多基于大数据分析的智能理财平台，大大降低了财富管理的门槛，让原先处于“服务真空区”的中产阶级也能享受同等的财富管理服务。 ? 现在看来，有两大因素促成了这些智能理财平台的成功。 首先，ETF基金的出现大大降低了投资成本。 第1种：基于大数据分析给出投资建议 这种类型的平台根据客户在其他理财交易平台的行为数据，全面了解客户的财务状况和投资现状，帮助客户对过去的投资决策做出回顾。 这种模式利用大数据分析技术，让客户在咨询投资顾问之外，有了另一种渠道可以获取投资顾问提供的服务，比如分析需求、解读投资报告和调整投资方案等。 第5种：跟投基金经理人的交易 这种类型的平台会即时跟踪基金经理人的投资组合以及每一笔交易动态，平台可以自动帮助普通投资者做出同样的交易或通知投资者让他们自己做出决定。
2.3K60发布于 2018-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号