- 综合排序
- 最热优先
- 最新优先
- 来自专栏测试开发干货
数据工厂平台-3:首页超链接
当然是从数据库拿了。既然我们如此设计，那么第一步，就是去数据层设计数据表的结构。django默认自带sqlite3 数据库，它和sql数据库基本一致，只是轻量级，无需部署启动数据库服务等。 如果不执行，那么django 并不会去让你models.py中的设置去让sqlite3数据库中发生改变。 命令如下，我们直接在pycharm的终端执行这俩个命令。 django后台是django自带的控制管理 平台用户和数据的 一个页面。进入的路是什么呢？还记得我们urls.py中抄的那个人家自己生成的例子么？ 没错，这个admin就是后台的路由。 创建是通过命令创建，命令如下：python3 manage.py createsuperuser 然后我们重启服务 去后台试试登陆： 登陆成功了，我们看到了 用户 和 组 这俩个自带表。 而如果已经有一定基础的读者，那么可以自行去使用第二种方案打造一个企业级的平台，这样同样可以在本教程中得到设计的灵感和其他细节等技术知识，因为本教程的整个重后台轻前端的设计中，vue占总技术含量的比并不多
97320编辑于 2022-05-19 - 来自专栏华章科技
大数据平台的3个核心功能
导读：大数据平台可以分为操作数据存储（ODS）、数据仓库（DW）和数据集市（DM）三层，分别对应着数据清洗、数据管理和数据应用这三个核心功能。 在业务系统和数据仓库之间做了隔离，将业务系统产生的原始数据备份的同时，保证了两个系统之间数据的一致性。 存储了业务侧的明细数据，方便后续的查询和加工以及报表的产出。 03 数据标签应用 整个数据平台的最上层是数据集市（Data Market，DM），也是与风控人员联系最紧密的一层。 顾名思义，数据集市就是将数据仓库中的主题数据根据不同的业务需要挑选出来，构成特定的业务场景标签。 最后想补充说明的是，由于大数据平台的计算链条较长，且充斥着大量的数据处理步骤，在实际生产中平台的监控和预警机制至关重要，例如对于上下游依赖关系的判断、每个时间分区数据量的监控、邮件和短信报警等，都是把控数据准确性和时效性的必要手段
87310发布于 2021-04-20 - 来自专栏张叔叔讲互联网
画像平台常见的3种数据模型
画像数据对于画像平台无疑是非常重要的，按什么样的数据模型存储画像数据直接影响了上层画像平台所能支持的功能范围，本文内容主要介绍3种常见的画像数据模型及其适用的平台功能。 但很多场景并不关注与时间相关的明细行为数据，比如DMP平台中人群圈选大部分都是使用离线标签，用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中？ 基于用户－行为模型，可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能，比如圈选出3月1日到3月24日之间，平均在线时长超过1000秒的河南省男性用户；针对给定人群，分析其从3月15日到3 基于行为明细数据可以实现更加细致的人群圈选和分析功能，比如圈选出3月1日到3月7日，中午12：00到14：00之间，使用Android系统进行登录的河南省女性用户；筛选出3月24日登录2小时之内发生了点赞行为的用户 以上介绍了常见的3种画像平台数据模型，随着模型复杂度的提升，工程实现难度不断提高，但是可支持的功能范围逐渐扩大。
93820编辑于 2023-10-06 - 来自专栏测试开发干货
(简易)测试数据构造平台: 3 (vue打通django)
如果想实现前端打包后让django单独服务就能启动整个平台的效果，那就需要合二为一，也就是本节课的目标，不管这段话你看的懂看不懂，都不重要，只要你先照葫芦画瓢往下跟，要不了几节课你就会突然大悟。 数据方面直接通过axios去django的后端内请求数据库。 下节课预告，架构设计分析等.
53230编辑于 2022-05-20 - 来自专栏ET
什么是数据集成平台?数据集成平台推荐
数据集成平台的基础知识1. 什么是数据集成平台？数据集成平台是一种用于管理和协调数据流动的软件工具或服务。它的主要目标是将来自多个不同数据源的数据整合到一个统一的、易于访问和分析的数据存储库中。 随着云计算的普及，云数据集成变得越来越重要。 数据仓库集成 数据仓库集成是将数据从不同的数据仓库或数据存储中整合到一个集中的数据仓库中的过程。这使得企业可以在一个地方查找和访问所有数据。 3. 数据清洗和转换数据集成平台允许对数据进行清洗、转换和规范化，以满足目标存储或分析的需求。这是确保数据质量和可用性的重要步骤。3. 数据集成平台则更加通用，可以应对多种不同的数据集成需求，包括批处理和实时数据处理。数据集成平台工具介绍选择适合企业需求的数据集成平台至关重要。以下是一些推荐的数据集成平台1. TalendTalend 是一个全面的数据集成和数据质量平台，提供了广泛的连接器和数据转换工具。它具有直观的图形界面，适用于不同规模的企业。3.
4.3K30编辑于 2023-09-19 - 来自专栏NLP/KG
数据开发平台
1 特征平台 2.DeepInsight
5.1K40编辑于 2023-03-17 - 来自专栏数据社
小米数据平台
作者 | 勇幸，小米计算平台负责人 导读： 业界一直希望统一元数据，从而实现多产品间的一致体验：无论是数据开发、数据消费还是数据治理，所有用户都能基于一套元数据体系，采用相同的资源描述方式，这无疑能极大地提升用户体验 得益于开源与组织时机，小米基于 HMS 与 Metacat 实现了元数据的统一，也借此实现了将 7 个数据平台统一为 1 个平台。 Gravitino 在小米数据平台中的位置 下图中 Gravitino 具有以下我们需要的特性（以绿色和黄色突出显示）： 统一的元数据湖：作为一个统一的数据目录，它支持多种数据源、计算引擎和数据平台，用于数据开发 它包括指定文件路径的深度和日期，支持数据共享，探索基于数据湖如 Iceberg 的非表格数据读写解决方案。这些将是我们近期的关注重点。 3. 我们期望通过利用 Gravitino 在我们的数据平台上实现这一点。 多系统集成的统一认证挑战 为了为用户提供无缝的数据开发体验，数据平台通常需要与各种存储和计算系统集成。
89310编辑于 2024-04-10 - 来自专栏程序猿的大杂烩
编译安装大数据平台权限管理组件 - Apache Ranger 3.x
在MySQL中创建ranger数据库： create database ranger; 由于我这里使用的是MySQL8.x，需要修改一下数据库相关的脚本。 安装完成后最终会输出： Installation of Ranger PolicyManager Web Application is completed. ---- 启动Ranger Admin 修改配置文件，配置数据库连接密码和 usr/local/ranger-plugin/hdfs-plugin]# cp /usr/local/ranger-3.0.0-SNAPSHOT-admin/ews/lib/commons-lang3- -put testfile /rangertest2 然后到Ranger Admin上添加Ranger的内部用户，“Settings” -> “Add New User”，填写用户信息： [mpcu3cwuys.png 回到操作系统，切换到hive用户，测试能否正常读取目录、文件： [root@hadoop01 ~]# sudo su - hive 上一次登录：一 11月 9 21:08:34 CST 2020pts/3
4K40发布于 2020-11-12 - 来自专栏PawSQL，在线的自动化SQL优化工具！
PawSQL数据库性能巡检平台 (3) - 慢查询采集和优化
在数据库运维管理中，慢查询一直是影响系统性能的重要因素。本文将详细介绍PawSQL数据库性能巡检平台在慢查询管理和优化方面的功能特性，帮助数据库管理员更好地应对性能挑战。 一、PawSQL巡检平台慢查询管理概述 PawSQL平台提供了全面的慢查询管理功能，包括自动采集、分析、优化等多个环节。通过管理台的慢查询趋势图，用户可以直观地了解数据库的性能状况，并进行深入分析。 平台不仅能够帮助识别性能问题，还能提供具体的优化方案和验证机制，有效提升数据库性能管理效率。 PawSQL审核平台 - 面向DevOps管控人员，集成完备的审核规则集，能覆盖数据定义语言(DDL)、数据操作语言(DML)、数据查询语言(DQL)等各种SQL语法，审核准确率高达95%，有效提升SQL PawSQL巡检平台 - 面向数据库运维人员，具备自动化采集和分析慢查询的能力，并提供专业的SQL优化建议。同时支持对数据库对象如表、索引等进行审核巡检，及时发现并规避潜在风险。
31910编辑于 2024-11-12 - 来自专栏测试开发干货
(简易)测试数据构造平台: 1 (vue+elementUI+python3+django)
（你是否经常为手工构造测试数据苦恼？是否每天的大部分时间都在构造数据？是否构造一个数据就要历经千辛万苦，各种返工？ 如果是，那么请来学习本平台吧~ 这将一劳永逸的解决这些苦恼，转变这些杂活成为你的立身根本和骄傲。 ） 【本节课内容】：用Django新建一个项目，并初始化设置。 首先，新建项目：MakeData 然后，进到项目根目录新建app：Myapp 然后，用pycharm打开这个项目，进行正式开发： 初始化-生成sqlite数据库表 初始化-创建超管： 初始化- 访问权限： 初始化-加载app： 初始化-关掉csrf： 初始化-语言和时区： 初始化-admin后台自动注册表数据
75320编辑于 2022-05-20 - 来自专栏Java架构师必看
数据运营平台-数据采集
今天说一说数据运营平台-数据采集[通俗易懂],希望能够帮助大家进步!!! 3)DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore 所支持的数据源如下，也可自行开发插件： 3、API接口 通过 Restful API 可以将历史数据通过网络上报到大数据平台，这种方式一般适用于数据量不太大的情况。 3）接口双方责任 消息发送方 遵循本接口规范中规定的验证规则，对接口数据提供相关的验证功能，保证数据的完整性、准确性； 消息发起的平台支持超时重发机制，重发次数和重发间隔可配置。 partition） zookeeper ark1:2181,ark2:2181,ark3:2181 broker ark1:9092,ark2:9092, ark3:9092 ②消费数据 消费有shell
6K31编辑于 2022-07-06 【能力比对】K8S数据平台VS数据平台
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 一、K8S数据平台VS数据平台能力对比 1.1 K8S数据平台（CloudEon）-功能描述 K8S数据平台基于开源项目CloudEon建设，简化Kubernetes上大数据集群的运维管理，一款基于Kubernetes 的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。 K8S数据平台（CloudEon）将基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注。 四、 K8S数据平台VS数据平台-应用场景适配K8S数据平台（CloudEon）高实时性、弹性需求行业：互联网用户行为分析、金融反欺诈、AI模型推理等场景需支撑千万级QPS查询与GPU资源动态调度，其流批一体计算引擎
55310编辑于 2025-05-07- 来自专栏大数据开发
大数据平台架构：数据平台建设的几种方案
随着大数据在越来越多的企业当中落地，企业要开展大数据相关的业务，那么首先要搭建起自身的数据平台。而企业搭建大数据平台，往往需要结合成本、业务、人员等各方面的因素，来规划数据平台建设方案。 今天我们就来聊聊数据平台建设的几种方案。 9.jpg 数据平台其实在企业当中一直都是存在的，但是进入到数据爆发式增长的大数据时代，传统的企业级数据库，在满足数据管理应用上，并不能完全满足各项需求。 主流数据平台建设方案 从市场主流选择来看，企业数据平台建设方案，目前大致有以下几种： 1、常规数据仓库 数据仓库的重点，是对数据进行整合，同时也是对业务逻辑的一个梳理。 2.jpg 3、MPP(大规模并行处理)架构 进入大数据时代以来，传统的主机计算模式已经不能满足需求了，分布式存储和分布式计算才是王道。 15.jpg 关于大数据平台架构，数据平台建设的几种方案，以上就为大家做了一个简单的介绍了。
3.3K51发布于 2020-10-14 什么是数据集成平台？数据集成平台有哪些功能？
简单来说，数据集成平台就是一种专门用来收集、整合和管理来自不同源头的数据的工具。那么，数据集成平台究竟能干啥？它具体有什么本事？别急，咱们今天就一层层把它拆开讲清楚。 没有集成平台的时候，店长想决定该进多少货，可能得手动去比对这三套数据，费时费力还可能出错。但有了数据集成平台呢？平台就能自动地把销售数据、当前的库存情况、会员的消费习惯这些信息整合到一起。 只有经过这轮扎实的处理，数据才算是真正“干净”、真正“好用”了。3. 数据加载数据收拾干净、整理规范了，下一步就是该把它们“安顿”到该去的系统里了，也就是目标系统。 我一直强调，如果没有高效的集成，数据仓库建得再好，数据也是死的。3. 3. 定义清洗规则：定好处理办法（比如以哪个系统为准？取最新记录？人工确认？）。4. 执行清洗转换：在数据转换阶段，利用平台的清洗和转换功能，按照预设规则自动或半自动地修正冲突数据。
1.6K10编辑于 2025-07-02- 来自专栏大数据开发
大数据平台搭建：基于Hadoop的数据分析平台
15.jpg 企业要进行大规模的数据分析，基于开源的Hadoop及其生态圈来搭建起大数据系统平台，无疑是一种低成本高效率的选择。 Hadoop大数据平台 Hadoop在大数据技术生态圈，经过这么多年的发展，基础核心架构的地位，依然稳固。 针对不同的具体需求，采用不同的数据分析架构和框架组件来解决实际问题。 大数据分析平台需求规划 按照数据分析的时效性需求，大数据分析可分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，可采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。 9.jpg 关于大数据平台搭建，基于Hadoop的数据分析平台，以上就是今天的分享内容了。
2.4K1410发布于 2020-10-10 - 来自专栏cloudskyme
虚拟化平台cloudstack（3）——安装（下）
登录时用户名和密码错误 默认账号密码 admin/password 管理节点安装好后，初始化数据库，完了使用admin和password登陆提示用户名密码错误，查看日志： Fail to generate 虽然允许一个数据中心中存在多个区域，但是一个区域通常与一个数据中心相对应。将基础架构编组到区域中的好处是可以提供物理隔离和 冗余。
1.3K90发布于 2018-03-20 - 来自专栏啄木鸟软件测试
大数据平台测试
来源：http://www.uml.org.cn 一.大数据平台测试简述 大数据平台测试包括2部分：基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL Ⅲ).测试指标 主要从性能、能耗、性价比和可用性4个维度来测试对比平台性能 ? 三.大数据平台测试工具 Ⅰ).平台单组件测试 测试应用单一、效率高、成本低，但无法全面衡量大数据平台性能 ? Ⅱ).综合平台测试 覆盖面广，可以较全面测试衡量大数据平台不同类型任务的性能，通用性好 ? 测试工具BigDataBench: a).概念：是一个跨系统、体系结构、数据管理 ３个领域的大数据基准测试开源程序集 b).应用领域：搜索引擎、电子商务、社交网络、多媒体、生物信息 c).负载类型：离线分析 ：结构化、半结构化、非结构化 四.大数据平台测试用例 Ⅰ).平台基准测试用例 主要是从性能的角度衡量大数据平台，包括数据生成、负载选择和明确测试指标等内容 ?
2.1K30发布于 2020-11-03 - 来自专栏祝威廉
运维=平台+数据
运维现有发展方向的问题 运维也越来越朝着平台化，自动化，自助化方向发展。这种发展方式虽然可以解决问题，但是会导致碎片化以及难以标准化，不可复制，对生态也是不利的。 运维发展新方向 之前我写过一篇文章，谈及如何用大数据思维做运维，当然这篇文章有他自己的局限性，只是谈及了运维监控，灌输一种 data based 的理念。 随着分布式相关应用慢慢成熟，尤其是大数据的崛起，对服务器有了更多的需求，以资源为粒度的管理需求也变得更加迫切，于是有了Google Borg,开源的则有Mesos,Yarn等。 前面讲的是基础平台层面的，我们其实更多的是要对应用进行更细致的观察。在Borg之上的应用可以是非常复杂的，应用的关联也是非常复杂的，微服务的兴起导致链路非常长，所以我们有了全链路追踪的需求。 一切服务都是为了帮助数据进行流转和变换，服务的状态也都反应在数据流上，这种瞬态和终态的量是非常大的，所以我们需要借助大数据的思维去做处理。 到这里就可以参考大数据思维做运维灌输的概念了。
4.2K50发布于 2018-08-27 - 来自专栏测试开发干货
接口测试平台代码实现144: 平台主题-夏日清凉3
我们本节开始继续去搞 接口库的主题外观，开搞之前，我们先学习下边框彩色的css： border-image:linear-gradient(to right,#ff8cd0,#77a4cb,#ff8cd0,#fff5d3)
33320编辑于 2022-05-19 - 来自专栏全栈程序员必看
大数据平台建设
数据仓库平台Hive Hive详细介绍 Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。 大规模数据分析平台Pig Pig详细介绍 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的 多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。 现在Kubenetes着重于不间断的服务状态（比如web服务器或者缓存服务器）和原生云平台应用（Nosql）,在不久的将来会支持各种生产云平台中的各种服务，例如，分批，工作流，以及传统数据库。 Facebook 在内部多个数据存储中使用 Presto 交互式查询，包括 300PB 的数据仓库，超过 1000 个 Facebook 员工每天在使用 Presto 运行超过 3 万个查询，每天扫描超过
1.5K40编辑于 2022-08-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号