- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯大讲堂的专栏
金融风控数据管理——海量金融数据离线监控方法
作者：housecheng 腾讯WXG工程师 |导语 解决金融风控数据监控“开发门槛高”“重复工作多”的痛点，实现PSI计算性能十倍速提升。 背景 在金融业务上，质量和稳定是生命线，我们需要对所有已经上线的风控要素，如策略、模型、标签、特征等构建监控。在过去，我们部署监控的方式为： 风控要素负责同学在要素上线前，通过spark\sql完成对监控指标的运算并例行化； 将监控指标运算结果出库mysql\tbase，用于指标的展示和告警； 告警系统轮询指标是否异常，如异常则通过企业微信等推送告警消息。 这种
3.6K10发布于 2021-04-12 - 来自专栏数据和云
【演讲实录】银行PB级别海量非结构化数据管理实践
近期，巨杉数据库的技术总监郝大为受邀在第七届数据技术嘉年华中做了“银行PB级别海量非结构化数据管理实践”为主题的演讲，分享了巨杉数据库有关金融行业数据库管理以及金融级数据库技术与应用的一些实践及思考。 新一代金融级数据管理需求 ? 数据爆炸：数据呈现急剧增长，对数据存储的数据量，并发性和响应速度都提出了更高要求。 2）多模式数据管理---非结构化数据管理 如今，在金融业务“互联网化”和“零售化”的趋势下，金融机构开始向用户提供更多个性化、定制化的产品与服务。特别是非结构化数据，增长最为迅猛。 多模式数据管理能力，使得金融级数据库能够进行跨部门、跨业务的数据统一存储与管理，实现多业务数据融合，支撑多样化的金融服务。 实现结果: 平均每日超过2亿条记录写入 高峰时段，同时有超过百亿级别的数据需要被检索、调用 系统保存3年内所有交易和持有数据 峰值并发量超过10000 高峰时段，查询返回时间小于100ms 3）银行海量数据管理
2.4K60发布于 2018-03-08 腾讯自动驾驶数据管理方案解决海量数据处理瓶颈，提升算法研发效率
构建一体化数据管理中台 腾讯推出自动驾驶数据管理平台（DMS），提供覆盖数据全生命周期的一体化解决方案。 方案包含标签元数据管理，支持17大类、32小类场景化标签体系，并实现连续帧自动标签化生产；数据血缘管理，确保数据全链路可追溯；以及多模态数据检索，支持文搜图、图搜图等多种模式。 元数据访问性能提升10倍：采用分布式元数据管理技术，避免大量List操作，极大提升元数据访问效率。 海量数据吞吐达Tbps级：利用AZ加速器海量强一致缓存技术，提供Tbps级数据吞吐能力，满足高强度数据处理需求。 某车企智能驾驶研发效能提升实践 某头部车企采用腾讯DMS方案后，实现了海量路采数据的高效管理。
19420编辑于 2026-04-12- 来自专栏Cloud Native - 产品级敏捷
海量数据, 为何总是 海量垃圾 ?!
2017.9.10, 深圳, Ken Fang 雷军说：我拥有海量的数据, 却不知道怎么用？每年, 花在存储海量数据的费用, 也是海量；足以使企业破产⋯ 为何会如此？ 当我们将所谓 “海量数据分析” 的神秘面纱给揭开时, 打破 “海量数据分析” 的神话, 就会很容易的明白, 真正的问题到底出在哪？为何谷歌能做到的, 我们却做不到？ 大家都明白的 Common Sense: 做海量数据分析, 要先能建立数据模型；有了数据模型, 我们才能从 “海量” 数据中, 去提炼出 “有用” 的数据。 海量数据分析最关键、最重要的ㄧ步：将海量数据 “转换” 为有用的数据。 而数据模型建立的前提是： @ 要能先分析出, 产生数据背后的 “用户的目的” 。例如：用户是基于什么样的社会事件？天灾？ 这样的数据, 再如何的 “海量”, 也根本没法经由 “数据分析师”, 使用任何的数据分析工具, 建立出任何有效的数据模型；海量数据将永远没办法转换为有用的数据。 为什么谷歌能做得到？
1.4K50发布于 2018-01-05 - 来自专栏肉眼品世界
数据管理之元数据管理
如果在建立数据集市的过程中，注意了元数据管理，在集成到数据仓库中时就会比较顺利；相反，如果在建设数据集市的过程中忽视了元数据管理，那么最后的集成过程就会很困难，甚至不可能实现。 2. 数据仓库环境下的元数据管理系统的建设是十分困难的。 可是在与之相关的工具成熟之前，我们完全可以采用OIM中的元模型（因CWM对OIM是兼容的）以及支持它的元数据管理工具进行元数据管理系统的建设，而且元数据所包含的范围很广。 08 元数据管理产品设计 元数据管理的应用通常一款元数据管理工具应具备元模型设计、元数据采集、元数据分析、数据地图展现等核心功能。 数据管理平台提供各类元数据管理，包括：业务元数据、技术元数据和管理元数据，支持元数据的基本信息、属性、依赖关系、组合关系的增删改查操作。
9.1K40编辑于 2021-12-29 - 来自专栏CDO首席数据官
DAMA数据管理—数据管理概述
本章重点介绍数据管理的总体流程、人员和技术。undefined 核心要点 引言 数据管理是一个职能或是高层级的业务流程。 （十大职能），数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理。 考虑数据管理职能范围相关性。据不同企业不同时期、不同阶段，考虑相关职能的优先级，同时考虑投入、时间、努力等。 数据管理活动，职能范围的分解（结构：职能活动-子活动）。 另建议大家补充：PMI-PMP项目管理知识体系，加强数据管理的十个职能域的项目目标实现的理解。 使命和目标 本书中对于数据管理的使命描述，是站在企业需求的角度。 指导原则 本书中对于指导原则方面的介绍包括：数据资产、数据资产的有效利用、数据管理组织和人员、数据管理职能和职业。
3.7K01发布于 2019-04-21 - 来自专栏流媒体
Json海量数据解析Json海量数据解析
Json海量数据解析 前言 在android开发中，app和服务器进行数据传输时大多数会用到json。
8.4K20发布于 2018-08-23 - 来自专栏xiaozhangStu
数据管理
数据管理 DML数据操作语言） INSERT命令 INSERT INTO 表名 [ ( 字段1, 字段2, 字段3, … ) ] VALUES ( '值1', '值2', '值3', …) UPDATE
91420编辑于 2023-05-04 - 来自专栏新亮笔记
数据管理
数据管理和部署流水线 我们通过测试来断言我们所开发的应用程序的行为符合我们期望的结果。 小结 由于生命周期不同，数据管理也面临一些待解决的问题。尽管这些问题与部署流水线上下文中的问题有所不同，但管理数据所用的基本原则是一样的。关键是要把创建和迁移数据库全部变成自动化过程。
1.3K10编辑于 2022-12-05 - 来自专栏高级开发进阶
ES数据管理
8.ES数据管理 8.1 ES数据管理概述 ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。
1K30编辑于 2022-03-07 【元数据管理】
元数据管理是一种关键的技术理论，它在信息管理和数据管理领域中扮演着重要的角色。元数据是描述和管理数据的数据，它提供了关于数据的关键信息，如数据的来源、内容、结构和用途等。 为了有效地管理和利用这些数据，元数据管理成为一项必不可少的工作。元数据管理的目标是帮助组织和个人更好地理解、访问和利用数据。 元数据管理涉及到多个方面的理论和技术，包括数据建模、数据词典、数据集成和数据质量等。以下是一些重要的元数据管理技术理论： 数据建模：数据建模是元数据管理的基础，它定义了数据的结构和关系。 元数据管理可以帮助识别和解决数据质量问题，通过收集和分析元数据信息，可以发现数据的潜在问题，并采取相应的措施进行修复。 总之，元数据管理是一种重要的技术理论，它在信息管理和数据管理中起着关键的作用。 通过元数据管理，可以更好地理解、访问和利用数据，提高数据的质量和价值。未来，随着数据的不断增长和复杂性的增加，元数据管理将会变得更加重要和必不可少。
28010编辑于 2025-08-29- 来自专栏『学习与分享之旅』
ES数据管理
也就是相当于操作，数据库-表-字段-约束信息，索引-_doc-字段映射，设置字段的约束信息，叫做字段映射。
58200编辑于 2023-09-27 - 来自专栏小孙同学的学习笔记
ArcGIS数据管理
矢量数据是通过记录空间对象的坐标及空间关系来表达空间几何位置的数据，主要是点、线、面，在ArcGIS中也成要素类。
1.7K30编辑于 2022-01-17 - 来自专栏sktj
Docker 数据管理
Rex-Ray作为跨机房的数据驱动 安装 image.png image.png image.png 创建磁盘卷 image.png image.png image.png
1.2K10发布于 2019-10-08 - 来自专栏康怀帅的专栏
Docker 数据管理
我们已经熟悉了 -v 或者 --volume，官方最近建议( Docker 17.06+ ) 使用 --mount。 官方文档：https://docs.docker.com/engine/admin/volumes/ 类型 bind volume tmpfs source source 或 src destination destination 或 dst 或 target volumes 创建 volume $ docker volume create VOLUME_NAME $ dock
1.9K50发布于 2018-02-28 - 来自专栏基础知识文章
Docker数据管理
数据卷 （ Data Volumes ） 是一个可供容器使用的特殊目录，它将主机操作系统目录直接映射进容器，类似于 Linux 中的 mount 行为 。
1.2K10编辑于 2021-12-07 - 来自专栏葬爱家族
Android高德之旅（11）绘制海量点废话海量总结
高德地图为我们提供了一个高性能的控件，可以绘制海量数据点。就是今天要说的MultiPointOverlay。 海量 多大的数量才叫海量呢，至少白酒一斤半吧，呸...官方的意思是10~10万，建议不要超过10万，不过基本上也不可能超过10万。这个功能从SDK5.1.0版本开始提供。
2K30发布于 2018-09-05 - 来自专栏devops探索
docker 数据管理
docker镜像被存储在一系列的只读层，当我们开启一个容器，docker读取只读镜像并添加一个读写层在顶部，如果正在运行的容器修改了现有的文件，该文件将被拷贝出底层的只读层到最顶层的读写层，在读写层中的旧版本文件隐藏于该文件之下，但并没有被破坏，它仍然存在于镜像一下，当docker的容器被删除时，然后重新启动镜像时，将开启一个没有任何更改的新的容器，这些更改会丢失，为了能够保存数据以及共享容器间的数据，docker提出了volumes的概念，volumes可以是目录或者文件，它们是外部默认的联合文件系统或者是存在与宿主文件系统正常的目录和文件。
1.1K20发布于 2020-07-31 - 来自专栏零基础使用Django2.0.1打造在线教育网站
Docker数据管理
Docker数据管理 写在前面 在前面我们详细学习了docker的三大核心概念：镜像、容器和仓库，接下来开始学习如何管理数据。 在实际工作中使用docker，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，此时必然会使用到容器数据管理的各种操作。 容器中的数据管理主要有两种方式：（1）数据卷（Data Volumes），表示容器内数据直接映射到本地主机环境；（2）数据卷容器（Data Volume Containers），表示使用特定容器维护数据卷 本篇就来学习docker数据管理相关的知识，首先会介绍如何在容器内创建数据卷，并且把本地目录或者文件挂载到容器内的数据卷中，接着介绍如何使用数据卷容器在容器和宿主机、容器和容器之间共享数据，并实现数据的备份和恢复 run --volumes-from dbdata2 -v ${pwd}:/backup worldenvy tar xvf /backup/backup.tar 小结 Docker采用数据卷机制为数据管理提供了方便的操作
1.7K10发布于 2020-12-29 - 来自专栏yuezhimi
docker数据管理
用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据，或者需要把容器内的数据进行备份，甚至多个容器之间进行数据共享，这必然涉及到容器的数据管理操作。
96920发布于 2020-09-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号