- 综合排序
- 最热优先
- 最新优先
- 来自专栏7DGroup
性能场景之数据
在数据这一方面，有几个地方是要注意的。 DB中的，包含各种类型的数据库；2. Cache中的，包含各种类型的cache；3. 压力工具中的，参数化数据。 在执行场景之前，需要知道前两个里面的数据是什么状态。然后再判断压力工具中应该如何加载数据。 之前我写过一个实例文章说数据不均衡导致的问题的。 《性能分析之数据不均衡导致TPS下降》 数据对性能场景的执行结果太重要了，以至于说如果数据不合理，测试结果是完全不合理。也就是白干了。 如何让数据合理呢？ 其实分析了场景之后也就非常清晰了。 就是用真实的数据。 但是在测试环境中，有非常多的实际测试实施中都没有线上的真实数据。 那就必须要造出符合业务规则的数据。有几种方式： 在数据库中直接插入数据。 做查询的时候如果涉及到时间范围查询，要关注下是否符合真实业务场景。 从真实环境中导出数据并脱敏。有很多公司都有专门的数据脱敏工具，特别是金融相关系统。
39220发布于 2019-07-17 - 来自专栏大数据和云计算技术
大数据仓库－场景
传统OLTP/OLAP之分 数据仓库里面有OLTP/OLAP之分，OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 大数据场景下的同与不同 1、大数据时代，大数据仓库面对的最基本，最典型的场景还是传统的OLAP场景，最明显的区别是数据规模的急剧膨胀，从传统的单表千万级，到现在单表百亿，万亿。 2、大数据时代，数据价值越来越大，分析手段和分析工具的越来越多。传统sql包打天下的局面可能就不行了，sql,python,R,BI工具/可视化工具都有需求。 所以除了性能之外，大数据仓库必然在接口上需要做更多。 3、云化带来的挑战。it基础设施云化的趋势不可逆转。云上的易用，安全，可服务性都是很大的挑战。
1.2K100发布于 2018-03-08 - 来自专栏Lansonli技术博客
大数据应用场景
电商方面 精准广告位，通过对用户的浏览行为，点击行为等进行大数据采集，分析，挖掘用户的二层三层喜欢，扩大产出。 交通方面 目前，交通的大数据应用主要在两个方面:一方面通过对车流量等海量数据的收集，估算，预测该路段一定时间内的车流量情况，给用户提供便利，合理进行道路规划；另一方面可以利用大数据来实现即时信号灯调度， 电信方面 智慧营业厅，通过对用户当前的行为习惯、偏好，节假日的相应数据变化，调节自身业务结构，做到按需分配。 安防方面 人脸识别，通过人脸识别，--匹配，存储用户数据，结合人工智能，分析及甄别用户行为，预防犯罪行为发生 医疗方面 智慧医疗，通过对海量病例大数据的存储，匹配、检索、结合用户的饮食、行为等习惯，搭建智慧医疗体系 物流方向 FRA 通过大数据解决方案得出司机工作表现的若干预测模型，解决了事故发生率和人员流动等人事部门的问题。
69810发布于 2021-10-04 - 来自专栏IT大咖说
数据持久化层场景实战：业务场景+数据库分区+冷热分离概述
◆ 冷热分离 本文讲的第一个场景是冷热分离。简单来说，就是将常用的“热”数据和不常使用的“冷”数据分开存储。 本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。 首先介绍一下业务场景。 ◆ 1.1 业务场景：几千万数据量的工单表如何快速优化 这次项目优化的是一个邮件客服系统。 1）比起单个文件系统或硬盘，分区可以存储更多的数据。 2）在清理数据时，可以直接删除废弃数据所在的分区。同样，有新数据时，可以增加更多的分区来存储新数据。 下面具体说一下该业务场景中的数据表。工单表ticket中的关键字段见表1-1。 表1-1 工单表关键字段 工单表最主要的几个查询语句如下。 这个数据库就叫冷库，因为里面基本是冷数据（当然，叫作归档数据库也可以），之后极少被访问。当前的数据库保留正常处理的较新的工单数据，这是热库。
97220编辑于 2022-07-18 - 来自专栏bisal的个人杂货铺
MySQL数据导入方案场景推荐
1需求背景 应用侧的同学需要对数据进行导出和导入，于是跑来找 DBA 咨询问题：MySQL 如何导入大批量的数据？ 单表导出备份数据（只导出数据）。 50G 的场景中，更推荐 mydumper。 补充场景，支持导出 CSV，也支持 --where 过滤。 ⭐⭐⭐数据量<50G Util.exportTable Util.importTable 原生，单线程 ⭐数据量<20G MySQL< 导入时，需要避免数据丢失。
59210编辑于 2023-10-19 - 来自专栏数据分析之旅
数据分析场景 -- 异常数据分析
对于异常数据的分析，相信每位数据分析师都不陌生，对于业务部门来说同样很希望了解数据分析的思路。 去年同期也写过类似的一篇异常数据分析文章，过了一年后有了更进一步的思路和想法，因此再次分享一下，对于数据分析师常见的“异常数据分析”。 分析思路包括以下5个步骤： 1. 当然作为数据分析师也可能凭借数据敏感，发现异常数据。 这个步骤主要思考4个小问题： 什么叫异常数据？ 异常数据真的是问题吗？对比标准是什么：KPI？去年同期？ 竞争对手等等 数据出口、指标计算口径是一致的吗？ 数据的真实性如何？有没有宕机、传输有没有丢包、数据流转是否有预警等等 2. 判断问题严重吗？ 具体问题具体分析，找出原因 分析原因和分析方法一定是结合着具体场景的。
2.4K10764发布于 2020-08-12 快速获取线下场景POI数据，分享场景查询API体验指南
最近自研产品需要接入一个POI查询的能力，需要输入目标场景名称就能立即获取相关POI数据。找了很多平台，有些虽然能满足需求，但价格确实感人，用不起。 API相关参数说明先看看这个场景查询（名称关键词）API的标准开发文档内容，了解其关键参数和说明：Body参数名称类型是否必需字段含义keywordstring是场景名称关键词brand_idinteger 否品牌IDcategory_idinteger否分类IDcity_idinteger否城市IDpage_numinteger否分页页码page_sizeinteger否每页数据量从Body参数可知，想要获取这个 POI基础数据很丰富，包含场景ID、名称、分类名称、品牌名称、地址、经纬度等，十几个不同类型的数据，能帮助用户快速了解场景POI，适用各种深度应用开发。 API体验及接入指南注册与在线体验1、在开放平台能力中心页面找到“场景查询”栏目，找到场景查询（名称关键词）API，点击查看详情；2、进入详情页后，右上角是API的标准开发文档，目前API是提供测试的，
31110编辑于 2025-07-24- 来自专栏大数据
API场景中的数据流
Landscape 原文作者：Kin Lane 原文地址：https://dzone.com/articles/data-streaming-in-the-api-landscape 译者微博：@从流域到海域 API场景中的数据流 我的研究领域从来都不是完美的，但我认为实时仍然是考虑我们近期在应用场景中看到的一些变化的最佳保护伞。 Firebase：通过我们的NoSQL云数据库存储和同步数据。数据在所有客户端实时同步，并在您的应用下线时仍保持可用状态。 Pusher：实时技术的领导者。 Apollo有一些重要的REST风格的方法，你可以找到一些其他的网关和插件，但是当你考虑如何将这些技术应用到更广泛的API场景中时，我会说它们没有拥抱网络。 那(Webhooks)是实时API场景。当然，还有其他服务和工具，但这是最重要的。我也在尝试与事件源，架构，消息传递以及API空间的其他层次（等现今用来回于移动位和字节）进行交叉。
2.2K00发布于 2018-05-30 - 来自专栏大数据开发
大数据入门：Hive应用场景
在大数据的发展当中，大数据技术生态的组件，也在不断地拓展开来，而其中的Hive组件，作为Hadoop的数据仓库工具，可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。 今天我们的大数据入门分享，就主要来讲讲，Hive应用场景。 Hive应用场景 总的来说，Hive是十分适合数据仓库的统计分析和Windows注册表文件。 Hive在Hadoop中扮演数据仓库的角色。 Hive自动生成的MapReduce作业，通常情况下不够智能化 （2）Hive调优比较困难，粒度较粗（快） 关于大数据入门，Hive应用场景，以上就为大家做了大致的介绍了。 在大数据应用场景下，Hive更多是作为Hadoop的一个数据仓库工具，并不直接存储数据，但是却不可或缺。
4.2K40发布于 2020-12-07 - 来自专栏深度学习技术前沿
DriveSeg：动态驾驶场景分割数据集
【导读】麻省理工学院和丰田发布DriveSeg数据集以加速自动驾驶研究，DriveSeg包含许多常见道路对象的精确像素级表示，并通过连续视频驾驶场景的镜头。 ? 相比之下，DriveSeg包含许多相同的常见道路对象的更精确的像素级表示，但是是通过连续视频驾驶场景的镜头。 这种类型的全场景分割对于识别更多不总是具有这种定义和统一形状的无定形对象（例如道路建设和植被）尤其有用。 根据Sherony的说法，基于视频的驾驶场景感知提供的数据流更类似于动态，现实世界的驾驶情况。 它还使研究人员能够随着时间的推移探索数据模式，这可能推动机器学习，场景理解和行为预测方面的进步。 DriveSeg是免费提供的，研究人员和学术界可将其用于非商业目的。 创建该数据集的目的是评估注释各种现实驾驶场景的可行性，并评估在通过基于AI的标记系统创建的像素标记上训练车辆感知系统的潜力。
79510发布于 2020-07-01 - 来自专栏多学一点
redis 基础数据 sets 业务场景分析
redis 基础数据 sets 业务场景分析 针对常见的业务场景，只使用 redis 的 sets 命令来分析。 sets 介绍 sets 是唯一字符串的无序集合，集合不允许重复键数据。 业务场景分析 sinter、sinterstore 图如下： inter.png 作用：计算集合成员的交集。 运用：社交、推荐系统、分类系统 举例： 以我们熟悉的微信、QQ为例。 总结 本文章是 redis 应用第一篇，后续应该会基础所有基础的类型结构，针对其特点分析一下业务场景。
60920发布于 2020-11-28 - 来自专栏深度学习和计算机视觉
DriveSeg：动态驾驶场景分割数据集
【导读】麻省理工学院和丰田发布DriveSeg数据集以加速自动驾驶研究，DriveSeg包含许多常见道路对象的精确像素级表示，并通过连续视频驾驶场景的镜头。 相比之下，DriveSeg包含许多相同的常见道路对象的更精确的像素级表示，但是是通过连续视频驾驶场景的镜头。 这种类型的全场景分割对于识别更多不总是具有这种定义和统一形状的无定形对象（例如道路建设和植被）尤其有用。 根据Sherony的说法，基于视频的驾驶场景感知提供的数据流更类似于动态，现实世界的驾驶情况。 它还使研究人员能够随着时间的推移探索数据模式，这可能推动机器学习，场景理解和行为预测方面的进步。 DriveSeg是免费提供的，研究人员和学术界可将其用于非商业目的。 创建该数据集的目的是评估注释各种现实驾驶场景的可行性，并评估在通过基于AI的标记系统创建的像素标记上训练车辆感知系统的潜力。
80410编辑于 2022-09-28 - 来自专栏王磊的博客
场景题：海量数据如何判重？
在海量数据如何确定一个值是否存在？这是一道非常经典的面试场景题。那怎么回答这个问题呢？接下来咱们就详细的聊一聊。参考答案判断一个值是否存在？ 查询时，只需要对待查询的数据进行哈希，并判断对应的位是否都为 1。如果都为 1，则该数据可能存在；如果有一个位不为 1，则该数据一定不存在。 例如，使用哈希表时，不同元素的哈希值可能相同，所以这样就产生误判了；而布隆过滤器的特征是，当布隆过滤器说，某个数据存在时，这个数据可能不存在；当布隆过滤器说，某个数据不存在时，那么这个数据一定不存在。 内存占用：哈希表需要根据数据规模来动态调整数组的大小，以保证存储效率。而布隆过滤器在预先设置位数组的大小后，不会随数据规模的增加而增长。因此布隆过滤器更适用于海量数据。 布隆过滤器的特征是：当布隆过滤器说，某个数据存在时，这个数据可能不存在；当布隆过滤器说，某个数据不存在时，那么这个数据一定不存在。
47630编辑于 2023-09-18 - 来自专栏北京马哥教育
Redis 数据结构使用场景
一、redis 数据结构使用场景 原来看过 redisbook 这本书，对 redis 的基本功能都已经熟悉了，从上周开始看 redis 的源码。目前目标是吃透 redis 的数据结构。 我们都知道，在 redis 中一共有5种数据结构，那每种数据结构的使用场景都是什么呢？ String——字符串 Hash——字典 List——列表 Set——集合 Sorted Set——有序集合 下面我们就来简单说明一下它们各自的使用场景： 1. 利用 Redis 提供的 Set 数据结构，可以存储一些集合性的数据。比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。 带有权重的元素，比如一个游戏的用户得分排行榜 比较复杂的数据结构，一般用到的场景不算太多 二、redis 其他功能使用场景 1.
1.7K40发布于 2018-05-02 - 来自专栏王磊的博客
场景题：海量数据如何判重？
在海量数据如何确定一个值是否存在？这是一道非常经典的面试场景题。 那怎么回答这个问题呢？接下来咱们就详细的聊一聊。 参考答案 判断一个值是否存在？ 查询时，只需要对待查询的数据进行哈希，并判断对应的位是否都为 1。如果都为 1，则该数据可能存在；如果有一个位不为 1，则该数据一定不存在。 例如，使用哈希表时，不同元素的哈希值可能相同，所以这样就产生误判了；而布隆过滤器的特征是，当布隆过滤器说，某个数据存在时，这个数据可能不存在；当布隆过滤器说，某个数据不存在时，那么这个数据一定不存在。 内存占用：哈希表需要根据数据规模来动态调整数组的大小，以保证存储效率。而布隆过滤器在预先设置位数组的大小后，不会随数据规模的增加而增长。因此布隆过滤器更适用于海量数据。 布隆过滤器的特征是：当布隆过滤器说，某个数据存在时，这个数据可能不存在；当布隆过滤器说，某个数据不存在时，那么这个数据一定不存在。
38920编辑于 2023-09-19 - 来自专栏大数据开发
大数据开发：Hadoop数据分析应用场景
对于海量数据价值的挖掘，需要通过大数据分析来实现，而这些数据由于具有不同于传统数据的新特征，传统的数据分析技术和工具都不能高效的进行处理，因而才有了基于大数据技术平台进行大数据分析的需求。 Hadoop架构的核心，就是分布式处理技术，将海量数据分析任务，以计算机集群的方式来进行分配处理。在数据仓库方面，Hadoop是尤其具有优势的，但是在数据集市和实时数据分析层面上，也有一定的不足。 ②财务公司、银行企业，基于Hadoop和数据仓库分析交易数据，实现风险建模，评估金融资产的分享，模拟市场行为，根据风险对潜在客服打分。 ⑤面向消费者的企业，可以基于Hadoop大数据分析，将各个客户互动渠道的数据进行整合分析，优化客户生命周期的用户体验。 以上就是为大家例举的几个大数据分析项目实例，在实际的企业大数据业务当中，基于所在的行业不同，会有不同的大数据分析需求，这一点就需要数据分析人员结合实际业务来进行考量，做出最优化的选择。
82020发布于 2021-07-22 - 来自专栏PPV课数据科学社区
大数据的金融场景：一切数据皆为信用数据
目前为止，在大数据领域当中的投资已经越来越热，而且做得公司越来越多。有多少公司到底真正使用的是大数据？我相信几乎没有太多。 大数据在美国金融当中最直接的场景，就是所谓的信用评估体系。 大数据到底在金融当中有什么用处？同样一个人在不同的应用和领域当中也不一样。比如今天在这个公司当中呆了20年，不一定说明他是个好员工，很有可能是他没有能力跳槽。 你可以在一个地方撒谎，你可以在两个地方撒谎，但是如果我大数据采了千千万万的点，很难把千千万万的点在互相不矛盾的情况之下，把它给伪装起来，如果真的能伪装成这样，那就不是一个欺骗的过程，所以很难通过大数据的方法让一个人还能够完全的编造一个不被识破的谎言 大数据模型理念，一切数据皆为信用数据。 大数据的模型之二，我们认为是数据的来源。即使错误信息也是信息，也体现了一个人的素质。
85080发布于 2018-04-20 - 来自专栏A周立SpringCloud
不同场景下，如何选择数据库？
可以看到爱奇艺的数据库种类是很多的，这可能会造成业务开发不太清楚在他的业务场景下，应该选用哪种数据库系统。 所以，我们先对这些数据库按照接口（SQL，NoSQL）和面向的业务场景（OLTP, OLAP）这两个维度进行一个简单的分类。 NoSQL 数据库，是一类针对特殊场景做优化的系统，schema 一般比较简单，吞吐量较高、延迟较低，一般用作缓存或者 KV 数据库。 备份恢复方面介绍一个特殊场景，虽然 Redis 是一个缓存，发现不少的同学会把它当做 KVDB 来使用，在某些情况下会造成数据的丢失。 我们某些业务场景下会使用 Redis 集群，例如数据库访问只发生在本 DC，我们会在 DC 内部进行 Cluster 部署。
1.7K10发布于 2019-11-24 - 来自专栏心源易码
智能体对话场景数据设计与建模
一、Amazon DynamoDB简介在当今数字化转型的浪潮中，企业对数据处理能力的需求日益增长，为了应对大规模数据和高并发访问的挑战，选择一款合适的数据库解决方案变得尤为重要。 在大规模应用中，DynamoDB不仅支持快速数据访问和实时数据处理，还能够处理大规模数据集的存储和检索。 二、Amazon Bedrock + Amazon DynamoDB数据设计与建模实践在智能体对话场景中，对话记忆存储是实现流畅、个性化交互的关键。 为满足智能体对话场景中的高并发、低延迟和稳定性需求，Amazon DynamoDB的数据查询/存储方案主要包括以下几个方面：会话记录存储：使用Amazon DynamoDB的基表chat_session 2.2.2、ERD（数据库实体关系图）分析在智能体对话场景中，数据的有效存储与查询是确保系统高效运行的关键。
1.9K10编辑于 2024-07-30 - 来自专栏规划领域技术
POI数据多场景获取脚本分享
之前已经分享了使用场景最广的“划定矩形区域获取POI数据”，考虑到我们规划相关工作中的其他使用场景，增加了针对公服设施、小城镇的“获取整个城市的POI数据”脚本、针对线性空间分块获取数据来提升效率的“多矩形区域获取 POI数据”脚本。 -1st- 使用方法 01 获取整个城市的POI数据 通过城市名称爬取高德地图POI数据，数据上限为每个城市1000个POI数据点位。 ，下次使用请删除"poi_get"文件夹”，并按任意键退出 02 多矩形区域获取POI数据 用于爬取多个矩形区域内的POI数据，适用场景：为提高爬取效率进行分块爬取（自动去重），如有拐弯的河流、道路 Subdivision.txt格式： 一个坐标点为一组完整数据（包括：编号，经度，纬度;Enter键换行，一行一个数据） 一个矩形区域由两组数据构成 如： 1 119.353198,26.003456
1.3K20发布于 2020-08-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号