首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 课前准备----10X HD数据基础分析

    10X HD默认输出8um、16um bin数据,如果需要调整,比如调整到20 um的精度,需要用到参数visium的捕获策略。HD的捕获策略大家能找到其中所有的不同吗? Space Ranger分析HD数据的前准备,图像校准选择Visium HD Manual Alignment上传图片(注意这是cytoassist生成的图片,非常大)选择芯片信息确定锚点识别核心的三个锚点调整基准点 非常大)For H&E images, as in this case, select brightfield.标记landmarks确保准确度通常情况需要设置5-8个标记评估匹配度输出比对文件结束进行数据分析输入文件

    45720编辑于 2024-08-14
  • 来自专栏HUC思梦的java专栏

    数据准备

    准备数据后,直接运行以下命令即可。 bookstacknew \ -e RUN_MODE=prod \ -v /home/bookstack:/bookstack\ willdockerhub/bookstack:v2.10_node 数据准备 数据库使用mysql,需要提前创建好库,表会自动创建。 /home/bookstack中的文件需要提前准备好。初始阶段可以从容器内直接复制出来。

    43210编辑于 2023-03-06
  • 来自专栏paddle深度学习

    paddle深度学习10 模型准备

    learning_rate=0.01, parameters=model.parameters()) # SGD优化器【训练循环】训练循环是模型训练的核心部分,通常包括以下几个步骤:1)前向传播将输入数据传入模型 y_pred = model(x) # x是输入数据,y_pred是模型预测输出2)计算损失使用损失函数计算模型预测值与真实值之间的差距。 optimizer.step() # 更新模型参数optimizer.clear_grad() # 清空梯度,为下一次迭代做准备5)重复迭代以上步骤会重复进行多次,直到模型在训练数据上的表现达到预期。

    30110编辑于 2025-01-16
  • 来自专栏Vincent-yuan

    sql~准备数据

    右键单击 "数据库" 节点,然后选择 "还原数据库"。 选择 "设备",然后单击省略号(...) 选择备份文件,然后点击确定 完成数据库还原。 完成后,会在 SQL Server 实例上安装 AdventureWorks 数据库。 这里使用的是2012版本的数据库,下面是OLTP版本的链接: AdventureWorks2012 ? 这里的数据准备主要用作后续学习使用 参考网址

    87020发布于 2020-04-08
  • 来自专栏InCerry

    为 .NET 10 GC(DATAS)做准备

    但 .NET 9 并不是长期支持(LTS)版本,因此很多人会在升级到 .NET 10 时首次获得 DATAS。 这也是为什么本文标题是“做准备”,而不是单纯的“新功能介绍”。 如果你在使用 Server GC,你可能会注意到相比以往的运行时升级,性能特征差异更为明显。 在我上一篇关于 DATAS 的文章中,我谈到了堆的数量会显著影响堆大小,尤其是在分配了大量临时数据的负载场景下。 启用 DATAS 后,他们观察到吞吐量下降了 6.8%,同时工作集减少了 10%。 以下是不同 LDS 值的一些示例 — LDS (MB) m m 限制后 BCD (MB) 1 15.00 10.00 10 5 6.71 6.71 34 10 4.74 4.74 47 50 2.12

    46300编辑于 2025-11-12
  • 来自专栏人工智能从业者资格

    2.1.2 数据准备

    数据准备阶段通常会占到实际机器学习任务的79%的时间。包括数据采集、数据清洗(清理)、数据标注、数据验收、数据交付等阶段。数据采集:采集之前,要对数据来源进行考察,越熟悉的数据来源越好。 采集一般有四种途径,分别观测数据、人工收集、调查问卷、线上数据库观测数据:observation,实验室监测数据、浏览器上的网页数据,规模化自动化采集,伴随环境噪声,数据缺失或不规整,需要仔细做好数据清理工作 数据清理(也叫数据清洗):现实世界的数据是非常脏的,数据清理工作是繁琐的,但却是至关重要。做好版本管理,至少三种:原始数据、某一步处理过后的数据、最终有待分析的数据。 主要处理以下几种数据:缺失的数据、重复的数据、内容错误的数据(逻辑、格式错误)、不需要的数据数据管理:数据作为一种资产,企业按照新型资产来管理。与数据治理的区别和联系。管理包含治理,治理是管理的一部分。与数据相关的问题:数据不足(数据扩充)、隐私泄露、分类质量低、数据质量低

    61120编辑于 2023-01-01
  • 来自专栏码客

    数据中台数据准备

    `t_user` (`id`, `name`, `age`, `height`, `birthday`) VALUES (8, '戴璐', 79, 194.92, '2011-09-30 12:02:10 INSERT INTO `t_user` (`id`, `name`, `age`, `height`, `birthday`) VALUES (13, '吕宇宁', 4, 152.15, '2014-10 -22 06:10:36'); INSERT INTO `t_user` (`id`, `name`, `age`, `height`, `birthday`) VALUES (14, '韩璐', 71 INTO `t_user` (`id`, `name`, `age`, `height`, `birthday`) VALUES (20, '莫震南', 54, 174.35, '1992-07-29 10 删除部分数据 当需要删除某一条数据的时候,我们需要使用 insert overwrite 释义:就是用满足条件的数据去覆盖原表的数据,这样只要在where条件里面过滤需要删除的数据就可以了 删除id为1

    66130编辑于 2023-03-06
  • 来自专栏Java后端技术栈cwnait

    10分钟,聊聊如何准备面试!

    你好,我是田哥 金三银四,黄金期,正是面试的好时候,你是否准备好了? 实话说,最近这两年,面试机会少了很多,如果没有准备好就去面试,很容易浪费掉面试机会。 既然面试机会很珍贵,那自然咱们就应该好好准备面试。 如果你的时间比较充足,我给你对接看我之前的一片文章: Java后端面试复习规划表,5万字 反之,请继续往下看。 关于简历就说这么多了,下面我们来聊如何准备面试。 ❝面试间会少的朋友除了简历优化以外,还可以找朋友内推哈。朋友可以使现实中认识的,也可以是网上没见过面的。 比如,我之前画过一张并发编程知识串联图: 时间不足:挑重要的+模拟面试,比如:必须要背的java基础、JVM、并发编程、分布式理论、MySQL数据库、Redis、Spring相关,另外,记得自己简历上用到了哪些技术栈 不过,也可以找我,我工作10多年,职场中面试过很多人,现在做技术指导、简历优化、模拟面试、面试辅导,其中模拟面试也是1000多场。只是如果你找我,那是续费付费的,毕竟大家都是成年了,需要养家糊口。

    50710编辑于 2024-03-18
  • 来自专栏嵌入式视觉

    【Kaggle竞赛】数据准备

    ,第一步的工作也是准备数据,这中间我们需要做很多工作包括数据输入、数据预处理、数据增强等,我个人把这一步的工作命名为数据准备,当然也可以有其他命名。 环境准备 系统:Windows10/Linux系统 软件:Python3、TensorFlow框架、和常用的Python库,数据准备阶段主要是os、cv2、numpy、skimage、csv等。 Detection比赛为例,编写数据准备的程序,这个程序,我写了两个版本,前期的获取文件名函数都差不多,后面的打乱数据和划分batch部分,一个版本是采用numpy+python自带的功能完成的,后面一个版本是用 数据集形式如下图所示: 第一个版本程序 纯python编写,借助了cv2、os、numpy、csv等库 数据准备程序被我命名为input_data.py,里面主要是两个函数: get_files(获取文件名函数 其实正常测试读取训练集图像是没问题,主要是在训练模型的时候出了问题,还不清楚是模型训练程序还是数据准备程序的问题,所以这个版本程序仅供参考。

    1.6K21编辑于 2022-09-05
  • 来自专栏架构师之路

    10准备读的3本书

    9月份准备读这些书: 《人生海海》 《钱商》 《羊皮卷》 画外音:坚持一件事很难,但读书,真的有用。 《人生海海》 “没有在深夜痛哭过的人,不足以谈论人生。”

    52920编辑于 2022-10-08
  • 来自专栏FunTester

    自动化的10准备工作

    这可能包括但不限于:测试环境的变化、依赖项的状态、数据准备问题或测试脚本的逻辑错误。发现并解决这些问题是确保测试的稳定性和可靠性的关键步骤。 高质量测试数据 构建高质量的测试数据是确保软件测试有效性和全面性的关键要素。测试数据在软件测试过程中扮演着至关重要的角色,它们决定了测试覆盖范围的广度和深度,直接影响着测试的质量和准确性。 测试数据应该是真实可靠的。使用真实世界的数据能更好地模拟实际使用情况,帮助发现潜在的问题和漏洞。确保测试数据的真实性和可靠性有助于准确评估软件的性能和可靠性。 测试数据应该是多样化和可复用的。 有效管理测试数据意味着对测试数据进行组织、分类和版本控制,以便快速且准确地访问所需的数据。另外,定期维护测试数据,更新和优化数据集,以反映软件的最新变化和需求。 在构建高质量的测试数据时,需要注重数据的准确性和完整性。精心设计和准备的测试数据能够提供更有力的测试覆盖,发现潜在的缺陷和问题。

    45010编辑于 2024-01-17
  • 来自专栏JiekeXu之路

    准备好使用 MySQL 10 了吗?

    很高兴又和大家见面了,今天和大家一起来看看 你准备好使用 MySQL 10 了吗? 在 MySQL 8.1 中,我们进行了一些更改,为 MySQL 10 发布之日做准备。您是否验证了您的应用程序是否已准备好使用 MySQL 10? 让我们来看看我们在 MySQL Server 中做了什么来为此做准备,以及你可以和应该做些什么来证明你的应用程序的未来。 除了注释之外,还有其他几个接口包含版本号,可以是字符串或者整型: 类型 名字 数据类型 示例值 C 函数 mysql_get_client_info() String 8.1.0 C 函数 mysql_get_client_version MySQL 10 即将推出!

    1.1K40编辑于 2023-09-27
  • 来自专栏share ai happiness

    MNIST数据集 — 前期准备

    前面都是基础零碎的知识,需要通过一个栗子来为大家把整个流程走一遍,从整体上对TensorFlow进行一个把握,大概分为四篇文章来说明吧(前期准备、前馈计算、模型训练、模型评价)。 滑动平均模型 滑动平均模型可以使模型在测试数据上更健壮,适合基于梯度下降算法训练神经网络的过程。

    86421发布于 2020-10-30
  • 来自专栏python数据分析实践

    数据清洗与准备(2)

    1 处理缺失值 (1) 过滤缺失值(见上一篇文章) (2) 补全缺失值 有时候我们并不是想要过滤缺失值,而是需要补全数据。 插值方法,如果没有其他参数,默认为'ffill' axis 需要填充的轴,默认axis=0 inplace 修改被调用的对象,而不是生成一个备份 limit 用于前向或后向填充时最大的填充范围 2 数据转换 df.drop_duplicates(['k1'], keep = 'last')) #保留最后一个值 -----结果----- k1 k2 4 one 3 6 two 4 (2)使用函数或映射进行数据转换 对于许多数据集,可能希望基于DataFrame中的数组、列或列中的数值进行一些转换,测试数据(data)如下,包含九类肉的名称和价格: 假设要添加一列用于表明每种食物的动物肉类型,映射如下: meat_to_animal

    1.2K10编辑于 2023-02-23
  • 来自专栏python数据分析实践

    数据清洗与准备(3)

    Weight Apple 0 1 2 3 Orange 4 5 6 7 Banana 8 9 10 REST SELL WEIGHT APPLE 0 1 2 3 ORANGE 4 5 6 7 BANANA 8 9 10 Price Rest Sell Test Grape 0 1 2 3 Orange 4 5 6 7 Banana 8 9 10 取四次样,每次1000个数 df.describe() #输出描述性信息 假如要找出有值大于3或小于-3的行,可以使用any方法: df[(np.abs(df) > 3).any(1)] 以上就是数据清洗和准备的大致内容 ,高效的数据准备工作可以使我们将更多的时间用于数据分析而不是准备数据,从而提升工作效率。

    98820编辑于 2023-02-23
  • 来自专栏『学习与分享之旅』

    建表与数据准备

    自己新建数据库: create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10)); 女'); insert into Student values('08' , '王菊' , '1990-01-20' , '女'); create table Course(cid varchar(10 ),cname varchar(10),tid varchar(10)); insert into Course values('01' , '语文' , '02'); insert into Course ),tname varchar(10)); insert into Teacher values('01' , '张三'); insert into Teacher values('02' , '李四 '); insert into Teacher values('03' , '王五'); create table sc(sid varchar(10),cid varchar(10),score decimal

    1.3K30编辑于 2023-10-12
  • 来自专栏python数据分析实践

    数据清洗与准备(1)

    在进行数据分析和建模过程中,大量时间花费在数据准备上:加载、清洗、转换和重新排列,这样的工作占用了分析师80%以上的时间。本章将讨论用于缺失值、重复值、字符串操作和其他数据转换的工具。 1、处理缺失值 缺失数据数据分析中很容易出现,在pandas中使用NaN表示缺失值,称NaN为容易检测到的缺失值;同时python内建的None值在对象数组中也会被当做NA处理: import numpy ,并允许根据丢失的数据量确定阈值 fillna 用某些值填充缺失的数据值或使用插值方法,如ffill或bfill isnull 返回表明哪些值是缺失值 notnull 作用域isnull相反 ---- (1)过滤缺失值 有多种过滤缺失值的方法,虽然可以用pandas.isnull手动过滤,但是dropna在过滤缺失值上更为有用,在series上使用dropna,它会返回series中的所有非空数据及其索引值 ,下一篇文章将介绍补全缺失值和数据转换的相关内容。

    1.6K10编辑于 2023-02-23
  • 来自专栏AIUAI

    语义分割 - 数据准备

    # 语义分割数据准备 Dataset 数据集下载 PASCAL VOC 2012 dataset augmented PASCAL VOC dataset # augmented PASCAL xvf VOCtrainval_11-May-2012.tar mv VOCdevkit/VOC2012 VOC2012_orig && rm -r VOCdevkit Data conversions 数据转换 augmented PASCAL VOC 数据集的 ground truth labels 是以 Matlab data files的格式存在的,需要进行转换: Step1 定义 mat2png ( 64, 0, 0) : 8 , (192, 0, 0) : 9 , ( 64, 128, 0) : 10

    1.7K20发布于 2019-02-18
  • 来自专栏PowerBI入门100例

    1.0 PowerBI数据准备-导读

    PowerQuery是PowerBI的组件,也是Excel的组件,还是一个独立的模块,为很多微软的其他下游工具做数据准备。 它是用来获取和清洗数据的自动化工具,做的是ETL(Extract-获取、Transform-转换、Load-加载)的工作。 在PowerBI中,PowerQuery只是起点,它要为下一步数据建模做准备,生成一系列干净的(尽可能是一维的)维度表、事实表、辅助表、参数等。 常用的功能包括:获取数据、表处理(提升标题、筛选、删除列、逆透视、分组、数据类型等)、列处理(填充、替换、去重、列命名、列排序等)、拆分列、添加列、数据合并(追加查询、合并查询)等。 这些功能的使用顺序通常是先通过筛选、删除列减少要处理的数据量,然后再使用尽可能少的步骤去完成后续的清洗工作,比如多个表先追加查询为一个表再做其他处理。

    36400编辑于 2025-02-18
  • 来自专栏LoneRanger

    数据准备和特征工程】感知数据

    文件中的数据 1.CSV文件 标准读取文件格式 import pandas as pd df = pd.read_csv(csv_file) df 让第一列的数据做索引 pd.read_csv(csv_file color_image) color_array.shape #彩色是三通道 灰度图是两通道 gray_array = np.array(gray_image) gray_array.shape #灰度图是两通道 数据库中的数据 (待补充) 网页上的数据 (待补充) 来自API的数据 (待补充)

    43720编辑于 2022-02-02
领券