- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储公众号：王知鱼
Samsung：大IU落地的应用生态（LBS实践）
从传统的512B扇区到如今QLC闪存和大IU的演进，SSD的性能瓶颈日益凸显。为了突破这些限制，三星等行业领导者正积极探索主机操作系统层面的优化方案，如大块大小（LBS）技术。 * 例如：QD1 4KiB 随机读取，最终应用程序需要读取整个 SSD LBA，ECC 解码，然后一起传输才能获得请求的 4KiB 数据 Fig-15：NVMe 与 OCP 标准在SSD中发挥的作用 Fig-16：在主机操作系统中启用大块大小 (LBS) 图片讨论了在主机操作系统层面启用大块大小（LBS）以更好地支持 QLC 和使用大 IU 的 SSD 的工作。 LBS 结论 增加 LBA 扇区大小很困难。 对原子掉电保护提出新要求是启用大 IU 的最佳解决方案。 Fig-17：LBS如何增益大IUs 图片解释了如何在主机操作系统层面通过一种称为“大块大小（LBS）”的方法来更好地支持使用大 IU 的 SSD。
58810编辑于 2025-04-21 - 来自专栏原创
构建基于LBS的大数据应用
构建基于LBS的大数据应用，一般的实现流程为：通过信息收集后进行基础数据的整理，数据挖掘/机器学习，服务搭建以及数据可视化等。 ? 数据挖掘的基本流程 基础数据的处理主要包括：数据集成和一些部分数据处理。 数据集成，数据挖掘或统计分析可能用到来自不同数据源的数据，我们需要将这些数据集成在一起。 数据挖掘时只根据数据库中的数据，用合适的数据挖掘算法进行分析，得出有用的信息。其中，模型算法质量的评价是很重要的一步。且数据挖掘是一个循环往复的过程。 基于LBS的大数据应用需要解决很多问题：基础数据问题比如海量数据流（>20W 条/s）、数据处理性能复杂计算（定位和统计）、准确率、秒级实时性要求、以及数据的实时性等。 最后，基于大数据的LBS应用，可以使用分布式流式计算框架，构建数据闭环，从而实现持续优化基础数据。 ? 目前的成功案例有： 1.杭州白马湖动漫节的安全保障。
2.8K70发布于 2018-03-21 - 来自专栏木东居士的专栏
闲聊4年大数据经历
0x00 前言 周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 0x01 大数据 “什么是大数据？” ，和数据相关的技术也都数据大数据。 2016年初 然后到了16年初，感觉机器学习突然间火起来了，突然间大数据的概念就被割裂出去了一大部分，机器学习和数据挖掘这部分和算法强相关的内容一下子就不属于大数据这个概念了。 然后数据量一下暴增了，一天要处理的数据增到了百亿的级别，很多任务的数据量都超过了千亿，。下子问题就大了，遇到了很多的挑战，比如数据倾斜、数据丢失、数据读写影响这些问题。 大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。 我们在做大数据的时候也更应该有数据的理解，这里对数据的理解可能会和数据分析、数据挖掘有类似，但是又不同。
86630发布于 2018-05-25 数据同步最全避坑指南！4大痛点+4大场景技术方案
在数据湖仓一体、流批一体的背景下，数据同步作为数据流动越来越重要的一环。然而，数据同步听起来简单，做起来却处处是坑：业务急着要数据做决策，报表却迟迟出不来？ 系统A和系统B的数据对不上，流程卡住，用户投诉？想搞实时同步提升体验，结果把核心数据库拖慢了？尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。 （2）技术实现：全周期一致性方案通过将存量数据校验与增量同步并行处理，缩短数据切换时间，降低业务中断风险。4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面
66010编辑于 2025-09-22- 来自专栏云计算D1net
大数据时代 云安全4大策略
云计算与大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据，基础设施。 4、对数据安全永不妥协 虽然云安全通常十分复杂，但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置，同时保持大数据结构“不受伤害”。 并不是所有的大数据基础设施是安全的，如果处于风险当中的数据非常敏感或是属于管制数据，那么用户可能需要寻找替代方案。 多备份在给用户备份数据时自动把数据压缩加密并传到多个云端平台，采用3层加密安全保护体系使得数据安全达到最高。 总结 只有为数据建立了最为严格的安全标准，大数据才能够不断地享受着由云计算提供的可扩展性、灵活性和自动化。加密被认为是保护云(大)数据的首要步骤。
1.4K70发布于 2018-03-21 数据资产怎么管？关键在这4大环节！
我们可以利用数据发现工具或数据目录平台，自动连接到公司内部的各个数据库、数据仓库甚至文件存储。 2.核心是抓取“元数据”工具会自动采集“关于数据的数据”，比如一个数据表叫什么、在哪里、包含哪些字段（这是技术元数据）；每个字段在业务上代表什么，归哪个部门管（这是业务元数据）。 3.形成数据目录将所有采集到的元数据组织起来，形成一个可搜索的、统一的数据资产地图。想象一下，这就是你公司数据的“搜索引擎”。做完这一步，你就能快速回答：我们到底有没有“客户满意度评分”这个数据？ 2.设计一致的数据模型在数据汇聚的层面，比如数据仓库里，按照商定好的标准来设计和整合数据，确保口径一致。3.理清数据血缘这一点非常关键。 我们应该把处理好的数据，封装成易于使用的数据服务API、可复用的数据产品或直观的分析报表。让业务方能够方便地获取数据能力。2.尝试进行价值度量数据值多少钱？这是个难题，但我们必须尝试去回答。
36810编辑于 2025-12-08- 来自专栏程序你好
区块链4大优势，与传统金融4大短板
通俗地说，所有网络虚拟数字货币的交易过程都是去中心化的分布式网络账本，被记录的所有交易数据都可以在区块链各个节点上共享，各个数据终端通过加密合约彼此间相互链结。 技术的关键点在于所有节点都分散保存着一个账本，单一或部分节点无法单独篡改数据。 ? 在传统金融日系，都依赖于信用背书系统。 目前大部分的金钱交易都是通过银行、保险公司、担保公司等第三受信机构作为中介完成交易的，记录单独保存于其中央数据库中，这种方式无法确保记录的完整性和唯一性。 区块链技术的四大优势表现在四个方面： 首先是免基础信任机制。 所有参与区块链交易节点都参与记录和验证，以及数据的维护。
1.3K10发布于 2018-07-20 - 来自专栏灯塔大数据
4位专家解读2015大数据技术进展
【回顾2015】 1 关键技术进展 Hadoop： Hadoop作为大数据平台中最基础与重要的系统，在2015年提高稳定性的同时，发布了多个重要功能与特性，这使得Hadoop朝着多类型存储介质和异构集群的方向迈进了一大步 它的基本思想是，通过打标签的方式为不同的节点赋予不同的属性，这样，一个大的Hadoop集群按照节点类型被分成了若干个逻辑上相互独立（可能交叉）的集群。 ●可配置的store compression 存储的field，例如_source字段，可以使用默认的LZ4算法快速压缩，或者使用DEFLATE算法减少index size。 2015年Kylin的主要发展都在Streaming OLAP上，为了支持低延迟的数据刷新，从整体的架构和设计上都做了相当大的重新设计，目前已经可以支持从Kafka读取数据并进行聚合计算的能力，同时提供 ●2015年4月，亚马逊启动其机器学习平台Amazon Machine Learning，这是一项全面的托管服务，让开发者能够轻松使用历史数据开发并部署预测模型。
98870发布于 2018-04-10 - 来自专栏用户6336521的专栏
本地外卖平台如何利用LBS大数据进行用户画像精准营销
大数据火不火想必大家心中有数，尤其在LBS定位功能的前提下，能够快速找到附近的商圈，吃喝玩乐可以说是样样不缺了。接下来我们先来认识一下LBS定位功能。 u=1326731645,3839116331&fm=26&gp=0.jpg LBS，基于用户定位数据的服务，它包括两层含义：一是确定移动设备所在的地理位置，其次是提供与位置相关的服务。 移动互联网先天被打上了LBS的标签，其成为移动互联网的核心因素之一，这也是移动互联网区别于互联网的一大特征。 用户的性别、年龄、收入等相对稳定的用户标签，能清晰地描绘用户是怎样样的人；用户在APP上的行为轨迹、订单数据等具有一定时效性的行为数据， 表明用户最近对什么感兴趣；用户的定位数据，无疑是用户此时此刻打开 而利用LBS获得精准用户主要做到以下几点，一让用户养成用外卖APP的习惯，能够在更多的地理位置得到用户分布的大数据；二优化立足于地理位置建立的周边搜索，增强用户对外卖APP的信任感；三根据不同的地理位置获取不同的福袋等等
3.3K40发布于 2019-11-15 数据清洗，必须掌握的5大解决方案+4大步骤
一、数据清洗是什么及应用场景高质量的数据应用必须建立在干净可靠的基础之上，数据清洗正是数据治理体系中的关键战略环节。当原始数据从采集端流入处理流程，首先需要经历系统性的 “质检” 与 “加工”。 数据清洗是什么？数据清洗是对原始数据进行系统性审查、修正、转换与整合的过程。 （4）机器学习和人工智能：模型训练极度依赖数据质量，缺失值处理不当、异常值未识别、特征尺度差异巨大，都会导致模型性能低下甚至失效。数据清洗的效果直接影响模型的上限。 （3）错误数据：拼写错误、逻辑错误等。（4）异常值：超出正常范围的数据。（5）格式混乱：日期、数字、文本等格式不一致。（6）不一致数据：跨系统、跨表的数据存在差异。（7）冗余数据：不必要的重复信息。 （4）将最终字符串转为DOUBLE类型。得到干净、可直接计算的数字型“利润_清洗”列。数据过滤设置过滤条件，筛选出符合特定条件的数据。例如，筛选出「订购日期」为2023年，「运货费」大于100的数据。
54710编辑于 2025-09-26- 来自专栏数据 学术 商业 新闻
把脉城市功能 | 基于LBS大数据量化城市尺度动态功能
创新点 本文基于LBS大数据，首次在城市尺度量化城市动态功能，并对比了全国不同城市动态功能的异同点。 然后，将poi数据重分类为6类以代表城市可以为居民提供的6大基本功能（商业、工作教育、居住、交通、文化娱乐和户外休闲），并借助TF-IDF方法缓解因poi不同类型数量之间巨大差异所带来的问题。 然后本文对模型进行了80次训练，在每次训练后计算各功能比例的累计平均值，各功能的累计平均值标准化序列如图4b所示。 进一步，为了探究城市功能结构和分布特征的规律和差异，本文构建了城市功能均衡指数（每个城市在同一时段6大功能结构比例的标准差）。 （c-d）在凌晨和夜晚，不同集群城市的空间分布（1：小城市；2：中城市；3：大城市；4：特大城市；5：超大城市）。
77330发布于 2021-02-22 - 来自专栏机器学习/数据可视化
MySQL必学4大语言
MySQL必学4种语言 本篇文章记录的是MySQL中常用的4种语言： DDL DDL，data defination language，指的是数据定义语言，其主要作用是创建数据库，对库表的结构进行删除和修改等操作 # 需要查询的字段 from table_name # 表名 where 条件 简单查询 select name, age from user where id=4; where id in ：指定从哪里开始显示，显示多少行 简写：limit 5, 4：表示从第5行开始，显示4行数据 select name, age from user limit 5; -- 只显示5行数据 select name, age from user limit 5 offset 4; -- 从第4（offset）行开始显示5(limit)行数据 select name, age from user limit 4, 5 ; -- 效果同上：逗号之前是offset的内容，逗号之后是limit内容 MySQL中的DQL应该是最常用的，请参考《MySQL经典50题》
51940编辑于 2023-08-25 - 来自专栏云头条
4 亿、金融 IT 大单
5月24日，吉林省农村信用社联合社发布《2022年核心主机及配套存储等设备采购项目》竞争性谈判公告 预算金额：8688 万元 采购需求： 1、硬件设备共计31台： 其中核心主机3台、核心主机硬件控制台4台 ） 2、核心主机使用的配套软件3套： 其中核心主机存储切换管理软件1套，核心系统性能分析软件1套，核心系统开发工具1套 3、原厂集成实施服务： 包括核心系统生产及同城灾备三点架构环境搭建，核心业务系统数据平滑迁移 ，核心交换机4台，区域汇聚交换机32台，接入交换机118台，4套SDN控制器等软硬件设备。 采购需求： 2022年5月17日，福建省农村信用社联合社发布《数据库存储（01）采购项目等六个项目》招标公告，预算 7693 万元。 2022年5月17日，福建省农村信用社联合社发布《数据库存储（02）采购项目等六个项目》招标公告，预算未公布。
1.1K10编辑于 2022-06-02 - 来自专栏Hello工控
CAN总线4大优点！！！
规模化：CAN的广泛流行本身就是一个降低成本的因素，从控制器、收发器、线束——以及更间接相关的成本，如数据采集硬件、培训等。 易于访问 CAN总线提供了与所有网络ECUs通信的“单一入口点”——使得集中诊断、数据记录和配置成为可能。 这极大地简化了诊断工作，因为你不需要为每个节点单独收集数据。 静默CAN记录：特别是，可以在“静默模式”下进行CAN总线数据记录，确保设备完全不影响CAN总线——这对于例如诊断来说至关重要。 高效 CAN帧通过ID进行优先级排序，这样高优先级的数据就能立即获得总线访问权，而不会造成其他帧的中断或CAN错误。 仲裁：当多个CAN节点尝试同时传输数据时，具有最低CAN ID（最高优先级）的帧获胜，其余的则退避并重试。这避免了碰撞，并确保了安全关键消息的优先级。
92210编辑于 2024-10-28 - 来自专栏Java课堂
一口气说出 4种 LBS “附近的人” 实现方式，面试官笑了
--- 一、“附近的人”原理 “附近的人” 也就是常说的 LBS (Location Based Services，基于位置服务)，它围绕用户当前地理位置数据而展开的服务，为用户提供精准的增值服务。 [在这里插入图片描述] **比如**：WX4ER区域内的用户搜索附近的餐厅数据，由于这区域内用户的GeoHash字符串都是WX4ER，故可以把WX4ER当作key，餐厅信息作为value进行缓存；而如果不使用 GeoHash算法，区域内的用户请求餐厅数据，用户传来的经、纬度都是不同的，这样缓存不仅麻烦且数据量巨大。 ** 我们来分析一下，多出来的这部分区域内的用户，到圆点的距离一定比圆的半径要大，那么我们就计算用户中心点与正方形内所有用户的距离，筛选出所有距离小于等于半径的用户，圆形区域内的所用户即符合要求的“附近的人 --- 代码实现借鉴了一位大佬的开源项目，这里有前三种实现方式的demo，感兴趣的小伙伴可以学习一下，GitHub地址：https://github.com/larscheng/larscheng-learning-demo
2.1K30发布于 2020-04-15 腾讯地图+AI：基于大模型的智能化位置服务(LBS)核心能力与商业实践概要
其本质是将腾讯地图的开发经验与LBS大数据沉淀为AI编程技能包、大模型可直接调用的MCP工具及多模态知识库。 AI 位置服务 (LBS智能问答与搜索) 核心功能：自然语言理解意图搜地点；结合实时路况与偏好生成个性化路线；融合腾讯地图多模态知识库与大模型能力的LBS智能问答（一套API支持App、小程序、车机等多端 AI 选址 硬核指标：基于腾讯LBS大数据，覆盖小区级人群画像（人口基础、消费能力、兴趣偏好），数据按月更新。支持零食、茶饮、便利店、母婴、健身等业态定制。 2. 成效：实现快速上线附近门店、地图选点、点聚合展示功能；一键输出门店分布热力图、轨迹图等可视化数据大屏。 案例 4：业务运营与成本优化 (应用模块：开发者 AI 月报) 背景：客户接入接口后，缺乏对调用量背后业务机会的理解及资源配置策略。
15510编辑于 2026-06-02- 来自专栏大数据文摘
数据路线｜构建供应链金融的4大步骤
第一步：核心数据来源 无论是业务还是数据都需要有渠道来源，对于供应链金融而言，就必须选择一个核心企业，通过这类企业来获取核心的交易数据。这种企业有三大类四大标准。 根据上述的简单介绍，这三大类企业一般都符合以下四个标准： 1、在行业中属于龙头企业、风向标； 2、具有大量上下游企业； 3、具有稳定或有规律采购以及销售流水； 4、具有较高程度的系统化信息化。 财务数据，一般是指传统财务的三大报表，资产负债表、利润表以及现金流量表。 在银行传统业务中，主要是通过财务数据对风险进行评估。 无论是teradata的十大主题（ 当事人、产品、协议、事件、资产、财务、机构、地域、营销、渠道 ），还是风险管理中按资金风险、市场风险、信用风险、操作风险等进行分类主题，主题下的指标都需要分析人员根据统计制度手工添加 这种规则引擎模式的分析在支付宝的支付模型中有非常好的体现，例如支付宝在其风险模型中采用了六大维度（ 账户、设备、位置、行为、关系、偏好 ），在模型中采用了1万多条规则或策略，来判断支付行为是否有危险。
2.4K90发布于 2018-05-21 数据融合是什么？进行数据融合的4大关键环节！
这些数据可以来自多个不同的数据源，例如：（1）数据库：企业内部的关系型数据库、非关系型数据库，存储着结构化或半结构化的数据。 （3）传感器：物联网设备中的传感器，如温度传感器、压力传感器、摄像头等，产生实时的、连续的数据流。（4）网络：通过网络爬虫从互联网上抓取的数据，如社交媒体数据、新闻资讯、用户评论等。 （3）图像数据：如产品图片、监控摄像头图像、医学影像等，需要通过计算机视觉技术进行处理和分析。（4）视频数据：如视频监控、在线教育视频、广告视频等，数据量大，处理难度较高。 不同的融合方法适用于不同的场景和需求，选择合适的方法是实现高效数据融合的关键。4.应用领域数据融合在许多领域都有广泛应用，包括商业智能和数据分析、医疗健康、智能城市、军事情报分析、环境监测等。 通过FineDataLink进行数据质量监控，能够让相关人员及时了解到数据质量的情况，进而采取相应的措施。4.协同合作与知识共享在数据融合过程中，不同团队或者部门之间需要进行有效的协同合作与知识共享。
97010编辑于 2025-09-09- 来自专栏华章科技
什么是大数据「实时流计算」？深度解析它的4大应用及4个特点
随着大数据技术的普及，IBM公司为我们总结了大数据的五大特点（也称为5V特点），即Volume（大量）、Velocity（快速）、Variety（多样）、Veracity（真实）和Value（价值），如图 ▲图1-1 大数据的五大特点 大数据时代为人们带来了丰富多彩的生活方式，让人们充分享受着从大数据中挖掘而来的价值。但也正因为大数据产生得太多太快，让我们开始疲于对正在发生的事情做出及时反应。 4. 实时推荐 实时推荐是实时流计算技术的另一个常见应用场景。如今手机几乎成为每一个年轻人的必备品。 4. 无限性 流数据是一种随时间无限增长的数据序列。这是流数据和批数据最本质的区别。批数据在每次处理时数据量是有限的，而流数据没有“每次”的概念，它总在不断产生，无穷无尽。 在实时流数据的四大特点中，无限性是流数据相比批数据最大的区别，这直接导致了流处理和批处理的查询模式有所不同。批处理是在固定数据集上进行不同的查询，而流处理是在无限数据集上进行固定的查询。
1.7K11发布于 2020-03-16 - 来自专栏CreateAMind
解决深度学习4大缺陷
鉴于研究中研究的学习和信用分配方案，在第 4 节中，我们考虑了神经科学启发的机器学习研究面临的重要开放性问题和挑战，以及可能取得进展的有前景的问题领域。 一些变体利用标签作为上下文信息，并通过前馈传播路径运行该标签，而其他一些则使用一种机制来自动生成对抗性的“负”数据样本作为上下文信息，然后通过前馈路径运行这些数据样本（即，这些方案将对抗数据点的“良好度 ”最小化，并将良好度最大化为从原始数据集中获取的数据点）。 注意，在等式11中，我们明确了活动向量 是从原始数据集D采样输入模式的产物，而 是从负面/敌对数据分布 采样的。 4 Future Directions for Research未来研究方向 尽管近年来在生物启发式（bio-inspired）学习方法方面取得了显著的进展和活动，但这些方法尚未达到反向传播（backpropagation
69210编辑于 2024-04-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号