- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据
数据管理—reshape2包
今天，May带来数据管理常用的工具reshape2，这个包的作用在于可以对数据进行变形，然后组成自己想要的数据内容。 下面可以开始来了解reshape2的应用过程。 我们可以就此输出一个文件，如下： 「结语 」 有小伙伴问，数据准备和数据管理有什么区别了，为什么在看文的时候会有不同的标题。 其实，数据管理的含义要比数据准备更大一些，基本上与数据有关的所有操作都可以视为一种数据管理行为，而数据准备更具有针对性，包括更具需求创建新变量、筛选变量、数据清洗和合并数据等系列操作。 所以，用于数据准备工作的函数都是数据管理的一部分，两者没有太大差异。
1K00发布于 2017-12-27 - 来自专栏肉眼品世界
数据管理之元数据管理
作为描述性信息，描述系统的结构特征和静态特征； 2. 作为控制性信息，控制并配置特定工具和进程运行，实现数据仓库管理和维护的（半）自动化管理。 元数据机制主要支持以下 5 类系统管理功能： 1. 描述哪些数据在数据仓库中； 2. 定义要进入数据仓库中的数据和从从数据仓库中产生的数据； 3. 记录根据业务事件发生而对其进行的数据抽取工作时间安排； 4. 如果在建立数据集市的过程中，注意了元数据管理，在集成到数据仓库中时就会比较顺利；相反，如果在建设数据集市的过程中忽视了元数据管理，那么最后的集成过程就会很困难，甚至不可能实现。 2. 它主要包含以下四个方面的规范： (1) CWM元模型（Metamodel）：描述数据仓库系统的模型； (2) CWM XML：CWM元模型的XML表示； (3) CWM DTD：DW/BI共享元数据的交换格式 （2）系统边界确定以后，把现有系统的元数据整理出来，加入语义层的对应。然后存到一个数据库中，这个数据库可以采用专用的元数据知识库，也可以采用一般的关系型数据库。 （3）确定元数据管理的范围。
9.5K40编辑于 2021-12-29 - 来自专栏CDO首席数据官
DAMA数据管理—数据管理概述
本章重点介绍数据管理的总体流程、人员和技术。undefined 核心要点 引言 数据管理是一个职能或是高层级的业务流程。 （十大职能），数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理。 考虑数据管理职能范围相关性。据不同企业不同时期、不同阶段，考虑相关职能的优先级，同时考虑投入、时间、努力等。 数据管理活动，职能范围的分解（结构：职能活动-子活动）。 另建议大家补充：PMI-PMP项目管理知识体系，加强数据管理的十个职能域的项目目标实现的理解。 使命和目标 本书中对于数据管理的使命描述，是站在企业需求的角度。 指导原则 本书中对于指导原则方面的介绍包括：数据资产、数据资产的有效利用、数据管理组织和人员、数据管理职能和职业。
3.9K01发布于 2019-04-21 - 来自专栏新亮笔记
数据管理
数据管理和部署流水线 我们通过测试来断言我们所开发的应用程序的行为符合我们期望的结果。 小结 由于生命周期不同，数据管理也面临一些待解决的问题。尽管这些问题与部署流水线上下文中的问题有所不同，但管理数据所用的基本原则是一样的。关键是要把创建和迁移数据库全部变成自动化过程。
1.5K10编辑于 2022-12-05 - 来自专栏xiaozhangStu
数据管理
数据管理 DML数据操作语言） INSERT命令 INSERT INTO 表名 [ ( 字段1, 字段2, 字段3, … ) ] VALUES ( '值1', '值2', '值3', …) UPDATE 命令 UPDATE 表名 SET column_name = value [ , column_name2 = value2, …. ] [ WHERE condition
1.1K20编辑于 2023-05-04 - 来自专栏高级开发进阶
ES数据管理
8.ES数据管理 8.1 ES数据管理概述 ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。 name": "张三", "age": 30, "interests": [ "篮球", "健身" ] } 8.2 基本操作 1) 创建索引 格式: PUT /索引名称 举例: PUT /es_db 2) "name": "张三", "sex": 1, "age": 25, "address": "上海徐汇", "remark": "java developer" } PUT /es_db/_doc/2 需要对一个具体的资源进行操作也就是要确定id才能进行==更新/创建，而==POST==是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行==创建==新文档，如果填了id那就针对这个id的文档进行创建/更新 2、
1.2K30编辑于 2022-03-07 【元数据管理】
元数据管理是一种关键的技术理论，它在信息管理和数据管理领域中扮演着重要的角色。元数据是描述和管理数据的数据，它提供了关于数据的关键信息，如数据的来源、内容、结构和用途等。 为了有效地管理和利用这些数据，元数据管理成为一项必不可少的工作。元数据管理的目标是帮助组织和个人更好地理解、访问和利用数据。 元数据管理涉及到多个方面的理论和技术，包括数据建模、数据词典、数据集成和数据质量等。以下是一些重要的元数据管理技术理论： 数据建模：数据建模是元数据管理的基础，它定义了数据的结构和关系。 import pandas as pd # 读取数据 data1 = pd.read_csv('data1.csv') data2 = pd.read_csv('data2.csv') # 进行数据集成 元数据管理可以帮助识别和解决数据质量问题，通过收集和分析元数据信息，可以发现数据的潜在问题，并采取相应的措施进行修复。 总之，元数据管理是一种重要的技术理论，它在信息管理和数据管理中起着关键的作用。
40410编辑于 2025-08-29- 来自专栏基础知识文章
Docker数据管理
2 绑定数据卷 除了使用 volume 子命令来管理数据卷外，还可以在创建容器时将主机本地的任意路径挂载到容器内作为数据卷，这种形式创建的数据卷称为绑定数据卷。 ubuntu 此时， 容器 db1 和 db2 都挂载同一个数据卷到相同的 /dbdata 目录，三个容器任何一方在该目录下的写人，其他容器都可以看到。 如果删除了挂载的容器（包括 dbdata 、 db1 和 db2 ），数据卷并不会被自动删除。 2. 恢复 如果要恢复数据到一个容器，可以按照下面的操作 。 首先创建一个带有数据卷的容器 dbdata2: $ docker run -v /dbdata --name dbdata2 ubuntu /bin/bash 然后创建另一个新的容器，挂载 dbdata2
1.3K10编辑于 2021-12-07 - 来自专栏高级开发进阶
ES数据管理
8.ES数据管理 8.1 ES数据管理概述 ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。 name": "张三", "age": 30, "interests": [ "篮球", "健身" ] } 8.2 基本操作 1) 创建索引 格式: PUT /索引名称 举例: PUT /es_db 2) "name": "张三", "sex": 1, "age": 25, "address": "上海徐汇", "remark": "java developer" } PUT /es_db/_doc/2 需要对一个具体的资源进行操作也就是要确定id才能进行==更新/创建，而==POST==是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行==创建==新文档，如果填了id那就针对这个id的文档进行创建/更新 2、
1K20编辑于 2022-09-29 - 来自专栏零基础使用Django2.0.1打造在线教育网站
Docker数据管理
Docker数据管理 写在前面 在前面我们详细学习了docker的三大核心概念：镜像、容器和仓库，接下来开始学习如何管理数据。 在实际工作中使用docker，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，此时必然会使用到容器数据管理的各种操作。 容器中的数据管理主要有两种方式：（1）数据卷（Data Volumes），表示容器内数据直接映射到本地主机环境；（2）数据卷容器（Data Volume Containers），表示使用特定容器维护数据卷 本篇就来学习docker数据管理相关的知识，首先会介绍如何在容器内创建数据卷，并且把本地目录或者文件挂载到容器内的数据卷中，接着介绍如何使用数据卷容器在容器和宿主机、容器和容器之间共享数据，并实现数据的备份和恢复 ，用来挂载dbdata2的容器，并使用untar命令来解压备份文件到所挂载的容器卷中： [root@envythink ~]# docker run --volumes-from dbdata2 -v
2K10发布于 2020-12-29 - 来自专栏yuezhimi
docker数据管理
用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据，或者需要把容器内的数据进行备份，甚至多个容器之间进行数据共享，这必然涉及到容器的数据管理操作。 "nginx -g 'daemon of…" 4 minutes ago Up 4 minutes 0.0.0.0:82->80/tcp volume-test2 minutes 0.0.0.0:81->80/tcp volume-test1 [root@localhost ~]# docker stop `docker ps -aq` af2ab077bdaa bb2677a06385 [root@localhost ~]# docker container rm `docker ps -aq` af2ab077bdaa bb2677a06385 [root 2.如果挂载目标在容器中非空目录，则该目录现有内容将被隐藏。 Volume特点： •多个运行容器之间共享数据。 •当容器停止或被移除时，该卷依然存在。 •多个容器可以同时挂载相同的卷。
1.2K20发布于 2020-09-30 - 来自专栏devops探索
docker 数据管理
/diff:/var/lib/docker/overlay2/ead6441580a7da34d41ad067c67d74530924e2fbf774459a0aafad5fc0297615/diff: /docker/overlay2/6a111fca256aa721ceec783ba474e476521011783e72490c708bb55d2fb8b936/diff:/var/lib/docker /docker/overlay2/477de8444c1e46c305f59bc60bcb3dd5b51ad2de813cc6c396174589a7e5a31d/diff:/var/lib/docker /overlay2/5730c353dde2ba11167f462bf4da920383bcb521169b41ba4caa208529701fa8/diff:/var/lib/docker/overlay2 1bbf6d5fc5e3b90bb47d63393db2f2382101e2e2f88d3a4a8596f41834be4871 bc7502d4fa8a3303fd3aa769e40750e8e08b4474864a3989eb75228e7e3ce328
1.3K20发布于 2020-07-31 - 来自专栏sktj
Docker 数据管理
Rex-Ray作为跨机房的数据驱动 安装 image.png image.png image.png 创建磁盘卷 image.png image.png image.png
1.3K10发布于 2019-10-08 - 来自专栏『学习与分享之旅』
ES数据管理
图片PUT /bntang_index{ "settings": {}}判断索引是否存在HEAD /索引名称图片查看索引GET /索引名称图片批量查看索引GET /索引名称1,索引名称2,索引名称3, 打开索引POST /索引名称/_open图片关闭索引POST /索引名称/_close图片删除索引库DELETE /索引名称1,索引名称2,索引名称3,...图片映射操作也就是相当于操作，数据库-表-字段 POST /索引名/_update/{id}{ "doc": { "field": "value" }}不存在则新增：PUT /my_index/_doc/2{ "name": "BNTang "}图片存在则修改：PUT /my_index/_doc/2{ "name": "BNTang2"}图片局域更新，只是修改某个字段（使用 POST） 图片POST /my_index/_update/ q=age:>18&from=0&size=2_source 定制返回结果GET /索引名称/_doc/id?_source=file1,file2图片GET /my_index01/_doc/1?
77300编辑于 2023-09-27 - 来自专栏小孙同学的学习笔记
ArcGIS数据管理
(2)个人地理数据库:所有数据都储存于MSAccess中，该数据文件最大为2GB，但若超过250MB，性能下降严重 ，只使用小于250MB的文件。
1.9K30编辑于 2022-01-17 - 来自专栏python与大数据分析
“晓”说数据管理-电信行业的数据管理变革
中国移动通信集团浙江有限公司 ，是中国移动有限公司的全资运营子公司，是移动集团的标杆企业、浙江省内规模最大的电信运营商。截至 2019 年底，公司员工总数近 1.9万人，总资产规模超 930 亿元，全年实现运营收入超过470 亿元，移动客户和宽带客户份额均居行业第一位。这几年来，浙江移动成为了我国通信领域先行先试的创新探索者。
1.1K30编辑于 2022-03-11 - 来自专栏康怀帅的专栏
Docker 数据管理
我们已经熟悉了 -v 或者 --volume，官方最近建议( Docker 17.06+ ) 使用 --mount。 官方文档：https://docs.docker.com/engine/admin/volumes/ 类型 bind volume tmpfs source source 或 src destination destination 或 dst 或 target volumes 创建 volume $ docker volume create VOLUME_NAME $ dock
2.1K50发布于 2018-02-28 - 来自专栏linux运维
监控数据管理问题：监控数据管理不当，占用大量资源
明确数据管理需求在优化之前，需要明确以下需求：数据保留时间：例如短期（7 天）、中期（30 天）、长期（1 年）。存储位置：本地存储、远程存储或云存储。 示例数据管理需求清单：需求项描述数据保留时间短期：7 天，中期：30 天，长期：1 年存储位置本地存储 + 远程备份查询频率实时监控高频查询，历史分析低频查询数据量当前占用 50GB，预计每月增长 10GB2 # 配置 Prometheus 的数据保留时间storage.tsdb.retention.time: 7d （2）Zabbix使用 SQL 脚本清理过期数据。 集中化数据管理使用集中化工具统一管理和分析监控数据。（1）ELK StackLogstash：收集和解析监控数据。Elasticsearch：存储和索引监控数据。Kibana：可视化监控数据。 /bin/bash # 测试数据管理性能test_data_management() { echo "开始测试数据管理性能..."
60810编辑于 2025-02-08 - 来自专栏薪火数据
数据管理流程规范
2）动态逻辑确保口径不出现常量，必须通过设定变量并进行赋值来实现，以避免程序写死导致出错或调整编码的大量改动。3）代码排版以 Tab为一缩进层次，各个层次之间必须缩进，保证口径排版清晰。 2 每个表字段必须要求有注释。6）索引每个结果表的关键字段都应该有索引，提高模块查询数据的速度。结束部分在口径结束部分，必须把当前口径的临时表全部删除。 2、禁止混搭拼音与中文，名字尽量要长，需要清晰的描述业务（例如：xiangYiFu）。代码注释说明1、单行注释：以#符号进行注释。 2、多行注释：用三引号包含注释内容，可以是三对单引号，也可以是三对双引号。示例：日志输出要求对每一段DDL，DML进行日志输出，包含：执行结果，执行内容，执行时间，执行参数。日志输出
51810编辑于 2024-01-12 什么是主数据管理？主数据管理怎么做？
而主数据管理（MDM）就是通过建立统一的数据标准、规范的数据流程、完善的治理体系，解决核心数据“不统一、不准确、不可信”的问题。今天就给大家把主数据管理的实操方法讲透、讲清楚。 二、主数据管理管的是什么很多人以为主数据管理就是做一次数据清洗，做完就结束了，其实不然。主数据管理管的是一个完整的数据生命周期，从数据的创建，到维护，到分发，到归档，每一个环节都在管理范围之内。1. 2. 数据编码编码是主数据标准的核心组成部分，很多人忽视了它的重要性。 2、数据清洗在主数据管理系统上线之前，必须先处理企业存量的历史数据。这个过程叫数据清洗，目标是把存量数据转化为符合主数据标准的期初数据。 ；主数据管理系统再经由数据集成平台，将数据分发到各消费系统。
1K10编辑于 2026-03-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号