- 综合排序
- 最热优先
- 最新优先
- 来自专栏AIUAI
Caffe2 - (十)训练数据集创建
Caffe2 - 训练数据集创建 caffe2 使用二值 DB 存储模型训练的数据，以 key-value 格式保存， key1 value1 key2 value2 key3 value3 buffer： 记录 Tensors，也叫多维数组(multi-dimensional arrays, together)，tensor 数据类型及数据 shape 信息. 故，采用 TensorProtosDBInput Operator 来加载数据，以进行 SGD 训练. 以 UCI Iris 数据集为例，Iris 花朵分类数据集，其包括 4 种实值特征来表示花，对三种类型的花进行分类. 将数据放入 Caffe2 DB，key - train_xxx，value - 使用 TensorProtos 来存储每个数据样本的两个 tensor，feature 和 label. # 测试 # 从
78420发布于 2019-02-18 - 来自专栏素履coder
Leetcode模块训练2
LRU缓存(146)# 请你设计并实现一个满足 LRU (最近最少使用) 缓存 约束的数据结构。 void put(int key, int value) 如果关键字 key 已经存在，则变更其数据值 value ； 如果不存在，则向缓存中插入该组 key-value 。 示例 1： 输入：nums = [1,2,2,3,1] 输出：2 解释： 输入数组的度是 2 ，因为元素 1 和 2 的出现频数最大，均为 2 。 连续子数组里面拥有相同度的有如下所示： [1, 2, 2, 3, 1], [1, 2, 2, 3], [2, 2, 3, 1], [1, 2, 2], [2, 2, 3], [2, 2] 最短连续子数组 [2, 2] 的长度为 2 ，所以返回 2 。
47720编辑于 2022-11-16 - 来自专栏Mybatis学习
tf2-yolov3训练自己的数据集
tf2相比于tf1来说更加的友好，支持了Eager模式，代码和keras基本相同，所以代码也很简单，下面就如何用tf2-yolov3训练自己的数据集。 项目的代码包：链接: tf2-yolov3.需要自行下载 至于tf2-yolov3的原理可以参考这个链接，我觉得是讲的最好一个：链接: yolov3算法的一点理解. tf2-yolov3训练自己的数据集 1、配置相关的环境 2、使用官方权重进行预测 3、训练自己的模型文件，并且识别 1）建立数据集文件夹 2）添加图片并且标注（labelimg软件） 3）建立.txt文件 4）建立标签.names文件 经过以上测试，表示这个代码包可以正常的使用了，就可以利用TensorFlow2-yolov3来进行检测了，下一步我们来介绍一下如何训练自己的数据集。 把你要训练的还有验证的数据文件都给写到.txt文件里面，方便程序对数据进行读取。 ?
1.3K20发布于 2021-06-21 - 来自专栏NowlNowl_AI
机器学习第2天：训练数据的获取与处理
数据的获取 我们知道机器学习的关键是数据和算法，提到数据，我们必须要有在这个大数据时代挑选我们需要的，优质的数据来训练我们的模型，这里分享几个数据获取平台 Kaggle Datasets Find Open ") print(s["name"]) 运行结果 （2）按行索引 注意，当我们直接这样按行索引，是会报错的 import pandas as pd s = pd.read_csv("test.csv 在这一部分我们以经典的鸢尾花数据集为例，简单介绍一下：鸢尾花数据集包括了花的种类，花瓣和花萼的长度与宽度，共五列数据，然后我们要训练一个通过花瓣，花萼长宽数据来判断品种的机器学习模型，机器学习的任务请参考这篇文章 再将花瓣的长和宽绘制出来 明显可以看到，花瓣长宽图中不同颜色的点（代表不同花的种类）比花萼长宽图中更加分布鲜明 这就代表，不同的鸢尾花品种，花瓣的长宽一般有很大区别，那我们在训练模型的时候就可以把花瓣长宽作为数据训练 ，得到的模型效果将比用花萼长宽训练出来的效果更好 这就是数据分析的意义之一：找到强特征 结语 数据的获取，处理与分析是机器学习中一个重要的过程，好的数据分析与好的算法一样重要，数据分析有许多方法，这里仅带读者了解一下
40010编辑于 2024-01-18 - 来自专栏MixLab科技+设计实验室
UI2Code 之 利用 antd.sketchapp 生成训练数据
Code2UI 这件事实现起来还算简单，UI2Code 这件事就显得有点难度了，基础的工作有 MD 的 sketch 插件，设计师可以很方便的在 sketch 里生成 Material Design 的 关于 UI2Code 相关的工作及尝试，有2个比较热门的项目： Pix2code https://github.com/tonybeltramelli/pix2code Turning design mockups 通过 CNN 卷积神经网络训练，即可用于输入新的 IMG 预测按压时间。 CNN 需要大量的训练数据，我们可以尝试下利用 antd.sketchapp 大量生成 Code 及 UI 图像的成对数据。 通过 json 数据描述可以组合出常用的页面结构，赋予页面内布局结构的动态化能力。 所以训练数据集，需要设计一套 DSL ，利用 Sketch.app 生成大量配对的数据，并把 DSL 转化为 CNN 训练时使用的 Label 数据。
1.6K70发布于 2018-04-17 - 来自专栏罗西的思考
Facebook如何训练超大模型 --- (2)
[源码分析] Facebook如何训练超大模型 --- (2) 目录 [源码分析] Facebook如何训练超大模型 --- (2) 0x00 摘要 0x01 回顾 1.1 ZeRO 1.1.1 ZeRO 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) 0x01 回顾 1.1 ZeRO 我们首先回顾一下 深度模型训练之中，显存主要是被Model States 与 Activation 两部分所占用。 Model Parameter: 模型参数，即在训练过程中通过数据“学习”到的信息。 1.1.2 ZeRO-2 ZeRO-2会分割Optimizer States与Gradients。
2.2K30编辑于 2022-05-09 - 来自专栏JadePeng的技术博客
fastText训练word2vec并用于训练任务
/fastText.git 然后make编译： make 编译后，将生成的fastText移到bin cp fasttext /usr/local/bin/ 训练word2vec 先讲语料分好词，比如保存到 开始调用fasttext训练： fasttext skipgram -input sent_train.txt -output . -0.16032 0.14793 0.021469 0.22363 -0.20411 0.07628 -0.096523 -0.11407 -0.35992 转换为pytorch可加载格式 为了方便训练使用 ','word2vec.npy') 训练模型 参考opennre的cnn分类代码： import torch import numpy as np import json import opennre ' wordi2d = json.load(open('pretrain/glove/word2id.json')) word2vec = np.load('pretrain/glove/word2vec.npy
71220发布于 2020-02-18 - 来自专栏人人都是极客
4.训练模型之准备训练数据
终于要开始训练识别熊猫的模型了， 第一步是准备好训练数据，这里有三件事情要做： 收集一定数量的熊猫图片。 将图片中的熊猫用矩形框标注出来。 将原始图片和标注文件转换为TFRecord格式的文件。 width) ymins.append(float(box[1]) / height) xmaxs.append(float(box[0] + box[2] 最后需要将数据集切分为训练集合测试集，将图片文件打乱，然后按照 7：3 的比例进行切分： random.seed(42) random.shuffle(all_examples) example.features.feature['image/object/class/label'].int64_list.value, [1]) 后台回复“准备训练数据 最后还需要一个 label map 文件，很简单，因为我们只有一种物体：熊猫 label_map.pbtxt: item { id: 1 name: 'panda' } 训练一个熊猫识别模型所需要的训练数据就准备完了
2.3K80发布于 2018-03-16 - 来自专栏炼丹笔记
XGBoost如何用2GB内存训练100GB的数据！
↑↑↑关注后"星标"炼丹笔记 炼丹笔记 作者：Coggle XGBoost迭代读取数据集 简介 在大规模数据集进行读取进行训练的过程中，迭代读取数据集是一个非常合适的选择，在Pytorch中支持迭代读取的方式 内存数据读取 class IterLoadForDMatrix(xgb.core.DataIter): def __init__(self, df=None, features=None, target label=dt[self.target]) #, weight=dt['weight']) self.it += 1 return 1 调用方法（此种方式比较适合GPU训练 =256) 参考文档： https://xgboost.readthedocs.io/en/latest/python/examples/quantile_data_iterator.html 外部数据迭代读取 _it = 0 调用方法（此种方式比较适合CPU训练）： it = Iterator(["file_0.svm", "file_1.svm", "file_2.svm"]) Xy = xgboost.DMatrix
1.7K20编辑于 2022-10-27 - 来自专栏Python编程和深度学习
nnUnet使用2d数据训练方法-DKFZ官方版
nnUnet使用2d数据训练方法-DKFZ官方版 上一篇文章介绍了《保姆级教程：nnUnet在2维图像的训练和测试》，采用的是自己的2d数据集进行2d到3d的数据转换，内容包括nnUnet介绍、环境配置 、数据配置、预处理、训练过程、确定最佳的U-Net配置、运行推断，算是带着大家在2d数据情况下把nnUnet训练和测试了一遍。 最近官方也更新了nnUnet在2d数据情况下的训练方法，链接为：https://github.com/MIC-DKFZ/nnUNet/blob/master/documentation/dataset_conversion.md 对训练数据文件进行遍历 # convert the training examples. 《保姆级教程：nnUnet在2维图像的训练和测试》。
3.6K10发布于 2021-03-03 - 来自专栏AIUAI
Caffe2 - (十七) 基于 FashionMnist 数据集的 GPU 训练与测试
Caffe2 - 基于 FashionMnist 数据集的 GPU 训练与测试 数据准备： 下载数据：Fashion-Mnist 实现过程： #/usr/bin/env python # - caffe2_pb2 ########################################## # 加载 Fashion Mnist 数据 ###################### offset=16).reshape(len(labels), 784) return images, labels # 加载数据 model, conv2, 'pool2', kernel=2, stride=2) fc3 = brew.fc(model, pool2, 'fc3', 50 * 4 * 4, 500 , u'conv2_b', u'conv2_b_grad', u'conv2_grad', u'conv2_w', u'conv2_w_grad', u'data', u'data_grad', u'fc3
74260发布于 2019-02-18 【模型免训练高效集成】DINOv2 + SAM 2
DINOv2 带来了几个关键优势： 即插即用：无需额外训练，直接提取高质量特征 卓越泛化：在未见过的数据和任务上表现优异 多尺度理解：同时捕捉局部细节和全局上下文 高效推理：相比需要微调的模型，大大节省计算资源 即插即用的优势 这种组合带来了前所未有的便利： 零训练开销：无需准备训练数据和计算资源 快速部署：下载即用，大大缩短项目周期 灵活组合：可以根据任务需求灵活调整集成方式 稳定可靠：基于经过充分验证的成熟模型 DINOv2 + SAM 2 的免训练特性让车辆能够快速适应新环境： 医疗影像：医生的AI助手 在医疗诊断中，这个组合展现出了巨大潜力： 快速适配：无需医疗数据训练即可处理各种影像 精准分割：对器官、病变区域进行精确勾勒 实时辅助：为医生诊断提供即时、准确的参考 工业质检：生产线上的火眼金睛 在制造业中，这套系统的免训练特性特别有价值： 性能表现 开箱即用的卓越效果 在多个标准数据集上的测试表明，这种免训练组合依然表现优异 Cityscapes 63.5% 91.8% 20 8.1GB 相比微调方法的优势 零数据准备：无需标注数据即可获得优秀性能 即时可用：从下载到部署只需几分钟 资源节约：节省大量的训练时间和计算成本
87610编辑于 2025-09-04- 来自专栏网络安全攻防
应急响应靶机训练-Linux2
abcdefg) 提交Webshell连接密码 提交数据包的flag1 提交攻击者使用的后续上传的木马文件名称 提交攻击者隐藏的flag2 提交攻击者隐藏的flag3 环境构建 下载靶机并使用VMware 随后我们登录数据库并查询数据库表 随即查询x2_user用户表内容，从中可以看到ID为1的为管理员 随机对密码进行解密，最终获取到管理员密码——Network@2020 f6f6eb5ace977d7e114377cc7098b7e3 user-app-register 要么就是/version2.php 随后我们直接跟踪第一个数据报文： 我们在响应报文中发现了Linux内核版本以及当前用户名： 那么这里应该是执行了请求包中的某些命令 {Network@_2020_Hack} 第六问答 靶机的第六个问题是"提交攻击者使用的后续上传的木马文件名称"，在这里我们通过对数据包的分析可以看到后续的访问成为了version2.php的访问，随机我们对最后一个 本篇文章我们主要介绍了对应急响应靶机Linux2的应急分析，其中比较关键的点主要有攻击者攻击IP地址的确定、webshell的查找、攻击者篡改操作的搜集、wireshark数据包流量分析跟踪能力~
69200编辑于 2025-01-14 - 来自专栏晨星先生的自留地
黑客技能训练之攻破VulnOS 2
最近迷上了国外的一个CTF训练网站，里面有很多国外的黑客打包好的系统（VulnOS）给安全爱好者们练习黑客技能。 n_id=1&name=2&data=2020，我们想指定name参数进行注入 sqlmap -u “url” -p name sqlmap.py -u “http://192.168.56.104 q=1&add_value=odm_user”-p add_value -D jabcd0cs –dump 网站的数据量不打，直接dump数据库 ? ?
1.6K30发布于 2018-06-07 - 来自专栏ypw
18级个人训练赛--2
= v.second; if(d+w<dis[id2]){ dis[id2] = d+w; heap.push({dis[id2],id2}); } } } if(dis m/2; flag2 = m-1; } else{ flag1 = m; flag2 = (m-1)/2; } cout i++){ if(a[i][2]! =0&&a[i][2]! =0){ st+=s[i]; a[i][2]=-1; } } } for(ll i=0;i<n;i++){ if(a[i][2]!
43040发布于 2020-09-11 - 来自专栏算法工程师的学习日志
Python基础训练100题-2
# 递归实现 def Fib(n): return 1 if n<=2 else Fib(n-1)+Fib(n-2) print(Fib(int(input()))) # 朴素实现 target =int(input()) res=0 a,b=1,1 for i in range(target-1): a,b=b,a+b print(a) 实例007：copy 题目：将一个列表的数据复制到另一个列表中 import copy a = [1,2,3,4,['a','b']] b = a# 赋值 c = a[:]# 浅拷贝 d = copy.copy(a)# 浅拷贝 e = copy.deepcopy for i in range(1,10): for j in range(1,i+1): print('%d*%d=%2ld '%(i,j,i*j),end='') print import time for i in range(4): print(str(int(time.time()))[-2:]) time.sleep(1) 实例010：给人看的时间 题目
32820编辑于 2022-07-27 - 来自专栏AI那点小事
算法训练 2的次幂表示
将这种2进制表示写成2的次幂的和的形式，令次幂高的排在前面，可得到如下表达式：137=2^7+2^3+2^0 现在约定幂次用括号来表示，即a^b表示为a（b） 此时，137可表示为：2（ 7）+2（3）+2（0） 进一步：7=2^2+2+2^0 （2^1用2表示） 3=2+2^0 所以最后137可表示为：2（2（2）+2+2（0））+2（2+2（0））+2（0） 又如：1315=2^10+2^8+2^5+2+1 所以1315最后可表示为： 2（2（2+2（0））+2）+2（2（2+2（0）））+2（2（2）+2（0））+2+2（0） 输入格式 正整数（1<=n<=20000） 输出格式 符合约定的n的0，2表示（在表示中不能有空格） 样例输入 137 样例输出 2(2(2)+2+2(0))+2( 2+2(0))+2(0) 样例输入 1315 样例输出 2(2(2+2(0))+2)+2(2(2+2(0)))+2(2(2)+2(0))+2+2(0) 提示 用递归实现会比较简单
64720发布于 2020-04-20 - 来自专栏Coding迪斯尼
人脸识别系统的原理与实现:PNET训练数据预处理2
上一节我们详细说明了如何为PNET生成用于训练的人脸图片，本节我们需要将上一节分割出的人脸图片存储成文件，相关代码如下： import numpy as np import cv2 from google.colab.patches import cv2_imshow import os #准备存储不同训练图片的路径 pos_save_dir = "/content/drive/MyDrive/my_mtcnn/12/positive 由于PNET在训练时除了要判断人脸范围外，还需要预测五个人脸关键点坐标，这些关键点对应两只眼睛，两边嘴角和中间鼻子，因此我们还需要相应的数据，这些训练数据来自于数据集：! = (box[1], box[3]) #该数据集人脸框的坐标与原先数据集不一样 img = cv2.rectangle(img, top_left, bottom_right, (255,0,0), 为什么需要做这些操作呢，这些手段叫数据增强，其目的是增加图片的多种形态，由此能训练网络更好的识别人脸。
93911发布于 2021-01-02 - 来自专栏粽子的深度学习笔记
pytorch DataLoader(2): Dataset,DataLoader自定义训练数据_opencv,skimage,PIL接口
本文主要简单讲解一下opencv,skimage,PIL读取数据并加载到dataset。 数据增强 对image,alpha图片进行缩放，裁剪，转tensor操作，详情见注释。 关于skimage怎么读取数据加载，数据增强等，可以直接参考U2Net的代码[1]。上面的代码就是改写自u2net训练和dataloader的代码。 测试并显示 # 辅助函数，用于展示一个 batch 的数据 def show_landmarks_batch(sample_batched): """Show image with landmarks PyTorch 系列 | 数据加载和预处理教程 || 官方原文 [3] OpenCV图像缩放resize各种插值方式的比较 [4] 数据来源：爱分割 github
1.2K20发布于 2021-07-07 - 来自专栏全栈程序员必看
mask rcnn训练自己的数据集_fasterrcnn训练自己的数据集
这篇博客是 基于 Google Colab 的 mask rcnn 训练自己的数据集（以实例分割为例）文章中 数据集的制作 这部分的一些补充 温馨提示： 实例分割是针对同一个类别的不同个体或者不同部分之间进行区分 界面左上角 File 下拉菜单中的 Stay With Images Data 选项 否则生成的json会包含 Imagedata 信息（是很长的一大串加密的软链接），会占用很大的内存 1.首先要人为划分训练集和测试集 3.在datasets目录下新建 seed_train、 seed_val 两个文件夹 分别存放的训练集和测试集图片和整合后的标签文件 seed_train seed_val 把整合后的标签文件剪切复制到同级目录下 y2) = points x1, x2 = sorted([x1, x2]) y1, y2 = sorted([y1, y2]) points = [x1, y1, x2, y1, x2, y2, x1, y2] else: points = np.asarray(points
1.2K30编辑于 2022-09-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号