- 综合排序
- 最热优先
- 最新优先
- 来自专栏HUC思梦的java专栏
数据准备
准备好数据后，直接运行以下命令即可。 bookstacknew \ -e RUN_MODE=prod \ -v /home/bookstack:/bookstack\ willdockerhub/bookstack:v2.10_node 数据准备 数据库使用mysql，需要提前创建好库，表会自动创建。 /home/bookstack中的文件需要提前准备好。初始阶段可以从容器内直接复制出来。
36210编辑于 2023-03-06 - 来自专栏Vincent-yuan
sql~准备数据
右键单击 "数据库" 节点，然后选择 "还原数据库"。 选择 "设备"，然后单击省略号（...） 选择备份文件，然后点击确定 完成数据库还原。 完成后，会在 SQL Server 实例上安装 AdventureWorks 数据库。 这里使用的是2012版本的数据库，下面是OLTP版本的链接： AdventureWorks2012 ? 这里的数据准备主要用作后续学习使用 参考网址
78020发布于 2020-04-08 - 来自专栏人工智能从业者资格
2.1.2 数据准备
数据准备阶段通常会占到实际机器学习任务的79%的时间。包括数据采集、数据清洗（清理）、数据标注、数据验收、数据交付等阶段。数据采集：采集之前，要对数据来源进行考察，越熟悉的数据来源越好。 采集一般有四种途径，分别观测数据、人工收集、调查问卷、线上数据库观测数据：observation，实验室监测数据、浏览器上的网页数据，规模化自动化采集，伴随环境噪声，数据缺失或不规整，需要仔细做好数据清理工作 数据清理（也叫数据清洗）：现实世界的数据是非常脏的，数据清理工作是繁琐的，但却是至关重要。做好版本管理，至少三种：原始数据、某一步处理过后的数据、最终有待分析的数据。 主要处理以下几种数据：缺失的数据、重复的数据、内容错误的数据（逻辑、格式错误）、不需要的数据。 数据管理：数据作为一种资产，企业按照新型资产来管理。与数据治理的区别和联系。管理包含治理，治理是管理的一部分。与数据相关的问题：数据不足（数据扩充）、隐私泄露、分类质量低、数据质量低
53520编辑于 2023-01-01 - 来自专栏码客
数据中台数据准备
CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic; 清空表 TRUNCATE TABLE t_user; 测试数据 数据类型 字符型：varchar、char、nchar、nvarchar、long（在数据库中是以ASCII码的格式存储的） 数字型：number、float（表示整数和小数） 日期类型：date、timestamp Hive表删除数据不能使用DELETE FROM table_name SQL语句 删除所有数据 推荐这种方式比较快(Hive SQL支持，但是Flink SQL中不支持) truncate table t_user01; 下面的这种方式虽然能删除所有数据，但是不推荐，运行比较慢(Flink SQL中的批模式支持，流模式不支持)。 删除部分数据 当需要删除某一条数据的时候，我们需要使用 insert overwrite 释义：就是用满足条件的数据去覆盖原表的数据，这样只要在where条件里面过滤需要删除的数据就可以了 删除id为1
57330编辑于 2023-03-06 - 来自专栏嵌入式视觉
【Kaggle竞赛】数据准备
，第一步的工作也是准备数据，这中间我们需要做很多工作包括数据输入、数据预处理、数据增强等，我个人把这一步的工作命名为数据准备，当然也可以有其他命名。 环境准备 系统：Windows10/Linux系统 软件：Python3、TensorFlow框架、和常用的Python库，数据准备阶段主要是os、cv2、numpy、skimage、csv等。 Detection比赛为例，编写数据准备的程序，这个程序，我写了两个版本，前期的获取文件名函数都差不多，后面的打乱数据和划分batch部分，一个版本是采用numpy+python自带的功能完成的，后面一个版本是用 数据集形式如下图所示： 第一个版本程序 纯python编写，借助了cv2、os、numpy、csv等库 数据准备程序被我命名为input_data.py，里面主要是两个函数： get_files(获取文件名函数 其实正常测试读取训练集图像是没问题，主要是在训练模型的时候出了问题，还不清楚是模型训练程序还是数据准备程序的问题，所以这个版本程序仅供参考。
1.5K21编辑于 2022-09-05 - 来自专栏share ai happiness
MNIST数据集 — 前期准备
前面都是基础零碎的知识，需要通过一个栗子来为大家把整个流程走一遍，从整体上对TensorFlow进行一个把握，大概分为四篇文章来说明吧(前期准备、前馈计算、模型训练、模型评价)。 滑动平均模型 滑动平均模型可以使模型在测试数据上更健壮，适合基于梯度下降算法训练神经网络的过程。
72821发布于 2020-10-30 - 来自专栏python数据分析实践
数据清洗与准备（2）
1 处理缺失值 （1） 过滤缺失值（见上一篇文章） （2） 补全缺失值 有时候我们并不是想要过滤缺失值，而是需要补全数据。 插值方法，如果没有其他参数，默认为'ffill' axis 需要填充的轴，默认axis=0 inplace 修改被调用的对象，而不是生成一个备份 limit 用于前向或后向填充时最大的填充范围 2 数据转换 df.drop_duplicates(['k1'], keep = 'last')) #保留最后一个值 -----结果----- k1 k2 4 one 3 6 two 4 （2）使用函数或映射进行数据转换 对于许多数据集，可能希望基于DataFrame中的数组、列或列中的数值进行一些转换，测试数据(data)如下，包含九类肉的名称和价格： 假设要添加一列用于表明每种食物的动物肉类型，映射如下： meat_to_animal
1.1K10编辑于 2023-02-23 - 来自专栏『学习与分享之旅』
建表与数据准备
自己新建数据库: create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10));
91630编辑于 2023-10-12 - 来自专栏python数据分析实践
数据清洗与准备（1）
在进行数据分析和建模过程中，大量时间花费在数据准备上：加载、清洗、转换和重新排列，这样的工作占用了分析师80%以上的时间。本章将讨论用于缺失值、重复值、字符串操作和其他数据转换的工具。 1、处理缺失值 缺失数据在数据分析中很容易出现，在pandas中使用NaN表示缺失值，称NaN为容易检测到的缺失值；同时python内建的None值在对象数组中也会被当做NA处理： import numpy ，并允许根据丢失的数据量确定阈值 fillna 用某些值填充缺失的数据值或使用插值方法，如ffill或bfill isnull 返回表明哪些值是缺失值 notnull 作用域isnull相反 ---- （1）过滤缺失值 有多种过滤缺失值的方法，虽然可以用pandas.isnull手动过滤，但是dropna在过滤缺失值上更为有用，在series上使用dropna，它会返回series中的所有非空数据及其索引值 ，下一篇文章将介绍补全缺失值和数据转换的相关内容。
1.4K10编辑于 2023-02-23 - 来自专栏AIUAI
语义分割 - 数据集准备
# 语义分割数据集准备 Dataset 数据集下载 PASCAL VOC 2012 dataset augmented PASCAL VOC dataset # augmented PASCAL xvf VOCtrainval_11-May-2012.tar mv VOCdevkit/VOC2012 VOC2012_orig && rm -r VOCdevkit Data conversions 数据转换 augmented PASCAL VOC 数据集的 ground truth labels 是以 Matlab data files的格式存在的，需要进行转换： Step1 定义 mat2png
1.6K20发布于 2019-02-18 - 来自专栏PowerBI入门100例
1.0 PowerBI数据准备-导读
PowerQuery是PowerBI的组件，也是Excel的组件，还是一个独立的模块，为很多微软的其他下游工具做数据准备。 它是用来获取和清洗数据的自动化工具，做的是ETL（Extract-获取、Transform-转换、Load-加载）的工作。 在PowerBI中，PowerQuery只是起点，它要为下一步数据建模做准备，生成一系列干净的（尽可能是一维的）维度表、事实表、辅助表、参数等。 常用的功能包括：获取数据、表处理（提升标题、筛选、删除列、逆透视、分组、数据类型等）、列处理（填充、替换、去重、列命名、列排序等）、拆分列、添加列、数据合并（追加查询、合并查询）等。 这些功能的使用顺序通常是先通过筛选、删除列减少要处理的数据量，然后再使用尽可能少的步骤去完成后续的清洗工作，比如多个表先追加查询为一个表再做其他处理。
27100编辑于 2025-02-18 - 来自专栏python数据分析实践
数据清洗与准备（3）
1 处理缺失值 （1）过滤缺失值（点此跳转） （2）补全缺失值（点此跳转） 2 数据转换 （1）删除重复值（点此跳转） （2）使用函数或映射进行数据转换（点此跳转） （3）替代值（点此跳转） （4）重命名轴索引 重命名轴索引可以在不生成新的数据的情况下修改轴，一个有用的方法是rename，示例如下： import pandas as pd import numpy as np data = pd.DataFrame 取四次样，每次1000个数 df.describe() #输出描述性信息 假如要找出有值大于3或小于-3的行，可以使用any方法： df[(np.abs(df) > 3).any(1)] 以上就是数据清洗和准备的大致内容 ，高效的数据准备工作可以使我们将更多的时间用于数据分析而不是准备数据，从而提升工作效率。 在下一章将会介绍pandas的数据连接和联合等功能。
86220编辑于 2023-02-23 - 来自专栏LoneRanger
【数据准备和特征工程】感知数据
文件中的数据 1.CSV文件 标准读取文件格式 import pandas as pd df = pd.read_csv(csv_file) df 让第一列的数据做索引 pd.read_csv(csv_file color_image) color_array.shape #彩色是三通道 灰度图是两通道 gray_array = np.array(gray_image) gray_array.shape #灰度图是两通道 数据库中的数据 （待补充） 网页上的数据 （待补充） 来自API的数据 （待补充）
38520编辑于 2022-02-02 - 来自专栏智能大数据分析
【机器学习数据预处理】数据准备
一、数据质量校验 如果机器学习中用于分析的基础数据有问题，那么基于这些数据分析得到的结论也会变得不可靠。 数据质量校验的主要任务是检查原始数据中是否存在噪声数据，常见的噪声数据包括不一致的值、缺失值和异常值。 （一）一致性校验 数据不一致性，是指各类数据的矛盾性、不相容性。 数据不一致是由于数据冗余、并发控制不当或各种故障、错误造成的。 对数据进行分析时需要对数据进行一致性校验来确认数据中是否存在不一致的值。 1. 默认为1 三、数据清洗 数据清洗是数据预处理中的过程，是发现并改正数据中可识别的错误的最后一道程序，目的是过滤或修改不符合要求的数据，主要包括删除原始数据中的无关数据、重复数据，平滑噪声数据，处理缺失值 数据插补 数据插补即利用某种方法将缺失数据补齐，常用的数据插补方法如表所示。 数据插补即利用某种方法将缺失数据补齐，常用的数据插补方法如表所示。
1.1K10编辑于 2025-01-23 - 来自专栏LoneRanger
【数据准备和特征工程】数据清理
1.基本概念 import pandas as pd df = pd.read_csv("test.csv") df.sample(10) 获取前几行数据 ```python data.head() 获取数据维度信息 df.shape 获取数据表属性的相关信息 ```python data.info() 获取数据表属性类型信息 ```python data.head() ### 2.转换数据类型 ```python sns.distplot(X.reshape((-1, 1))) #填补缺失数据后的分布 sns.distplot(X_imputed.reshape((-1, 1))) ### 5.离群数据 # 带有False的数据点表示这些值是有效的，而True则表示有释放。 考虑到数据的差距，使用抗离群值的统计工具，例如，稳健回归（用另一种参数估计方法）Robust_regression。
1.2K20编辑于 2022-02-02 - 来自专栏小白实例
Transformer模型训练数据准备详解
数据准备是模型训练的基础,本教程将详细介绍Transformer在自然语言处理任务中的数据准备过程。 以下是一些可获得大规模语料的途径:网络爬虫技术可以聚合新闻、论坛、博客网站的数据开源数据集如BookCorpus、Wikipedia等都可以提供GB级的文本付费数据平台也出售质量较好的手标注数据集自有业务系统中的日志 一般按照7:2:1的比例进行划分训练数据。需要保证各个数据集同分布,类目平衡。否则会导致模型过拟合现象。分布不均匀的数据集也会使结果评估不准确。 Transformer模型训练数据的全流程准备工作。 充足的质量训练数据是获得最佳效果的基石。希望本教程可以提供一些参考,指导大家准备用于Transformer等模型的训练数据。
2.1K00编辑于 2023-07-12 - 来自专栏实战docker
准备数据集用于flink学习
在学习和开发flink的过程中，经常需要准备数据集用来验证我们的程序，阿里云天池公开数据集中有一份淘宝用户行为数据集，稍作处理后即可用于flink学习； 下载 下载地址： https://tianchi.aliyun.com 完成后如下图，F列的时间信息更利于我们开发过程中核对数据： ? 修复乱序 此时的CSV文件中的数据并不是按时间字段排序的，如下图： ? flink在处理上述数据时，由于乱序问题可能会导致计算结果不准，以上图为例，在处理红框2中的数据时，红框3所对应的窗口早就完成计算了，虽然flink的watermark可以容忍一定程度的乱序，但是必须将容忍时间调整为 7天才能将红框3的窗口保留下来不触发，这样的watermark调整会导致大量数据无法计算，因此，需要将此CSV的数据按照时间排序再拿来使用； 如下图操作即可完成排序： ? 至此，一份淘宝用户行为数据集就准备完毕了，接下来的文章将会用此数据进行flink相关的实战； 直接下载准备好的数据 为了便于您快速使用，上述调整过的CSV文件我已经上传到CSDN，地址： https:
1.1K10发布于 2020-05-26 课前准备--HRD数据分析
作者，Evil Genius今天准备一些HRD的相关内容，补充一下我们的生化小课---基因组与单细胞空间多组学培训。
12020编辑于 2025-09-19- 来自专栏数字芯片
innovus | 数据准备和读入设计
数据准备 在创建design前，需要准备所需的文件： verilog网表 LEF工艺物理库文件 SCAN文件（存在DFT时） Floorplan的管脚排列文件 时序分析的MMMC View文件 时序库 这里我们采用界面操作，来熟悉innovus的使用； 在终端下输入innovus innouvs界面中选择File → Import Design 分别导入准备文件： Verilog网表，指定设计Top DTMF_CHIP.globals init_design 或者 restoreDesign DBS/DTMF_save.enc.dat DTMF_CHIP 或者 source DBS/DTMF_save.enc 数据库格式 v.gz 网表 lib 设计库文件 mmmc 时序库文件 .fp.gz，.fp.spr.gz，.place.gz，.route.gz 设计信息 此外还有 OpenAccess：与virtuoso平台共享数据库
8.4K32编辑于 2022-12-18 - 来自专栏生信菜鸟团
GEO数据分析前准备
生信技能树学习笔记 1.分析思路 2.数据格式 3.富集分析 1.概念 2.工具 ClusterProfiler 3.代码（下一篇） 4.结果 5.成图展示 展示通路间的共同基因
20810编辑于 2024-06-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号