首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯云服务器团队的专栏

    GPU LAB 炼丹秘籍|快速部署 AI 绘画

    部署有一定门槛 可以看出,使用云服务器部署 AI 绘画模型是综合性价比最高的一种方式,但由于其使用的固有门槛,导致大多数炼丹师望而却步。 本文将演示如何使用 GPU LAB,极简部署 AI 绘画模型,降低用户在云服务器部署 AI 绘画模型的使用门槛。 购买服务器(3-5分钟) 首先,需购买一台腾讯云的 GPU 服务器。 可进入下一步,开始 AI 绘画环境部署。 systemctl enable docker && (curl -s -L http://mirrors.tencent.com/install/GPU/taco/get-nvidia-docker2. systemctl enable docker && (curl -s -L http://mirrors.tencent.com/install/GPU/taco/get-nvidia-docker2.

    2.7K21编辑于 2023-05-15
  • 来自专栏算法进阶

    一文归纳Ai调参炼丹之法

    2 人工调参 手动调参需要结合数据情况及算法的理解,选择合适调参的优先顺序及参数的经验值。 max_depth': np.arange(1, 20, 1), 'n_estimators': np.arange(1, 50, 10), 'max_leaf_nodes': np.arange(2, 2、勘探过程:兼顾不确定性大的参数区域的采样评估,避免陷入局部最优。 max_depth': hp.quniform('max_depth', 1, 20, 1), 'n_estimators': hp.quniform('n_estimators', 2, 50, 1), 'max_leaf_nodes': hp.quniform('max_leaf_nodes', 2, 100, 1) } # bayes

    74810编辑于 2022-06-01
  • 来自专栏Java项目实战

    AI绘画专栏之statble diffusion炼丹篇(四)

    从现在开始,定制自己的第一炉Lora    新手友好的操作简单的一键启动Lora炼丹教程来啦~~附安装包所谓炼丹,就是将大量灵材使用丹炉将其凝炼成丹。 深度学习的模型训练就是炼丹。把精选原始数据,按照神经网络的规定法则通过计算框架提炼,从而得到一个远小于数据数倍的模型。 知乎李沐前置条件1.全英文路径2.搭配切割工具或者网址,群文档有提供3.N卡优先,需要一个底模(特指大模型)4.优化参数和防爆显存,群文档有提供5.莫要与启动器同步运行,90系除外6.训练基本图片的打标签

    56520编辑于 2023-11-07
  • 每个AI炼丹师都该读的梯度下降综述

    Gradient Descent Optimization Algorithms 作者:Sebastian Ruder(NUI Galway / Aylien Ltd.) arXiv:1609.04747v2

    18710编辑于 2026-04-13
  • 来自专栏机器学习与生成对抗网络

    2020AI炼丹炉选择参考!大力神丹,this is for U !

    截止到2020 年 2 月,以下 GPU 可以训练所有SOTA(顶尖)的语言模型或图像模型: RTX 8000:48GB 显存,约 5500 美元 RTX 6000:24GB 显存,约 4000 美元 *号表示 GPU 显存不足以运行模型 2. 性能(每秒处理的图像数量) ? *号表示 GPU 显存不足以运行模型 语言模型 1. 显存能支持的最大批量大小 ? 2. 性能 ? 2、显存越大往往可以带来更好的模型性能。因为显存越大,batch size 就越大,CUDA 可更加接近满负荷工作。 建议 1、RTX 2060(6GB):业余炼丹选手。 2、RTX 2070 或 2080(8GB):对炼丹有认真的感情、但较穷的选手,可适用大部分模型啦。 3、RTX 2080Ti(11GB):沉迷炼丹无法自拔者,愿意为之付出到 1200美元左右。注:RTX 2080Ti 在深度学习训练上要比 RTX 2080 快大约 40%。

    1.8K10发布于 2020-04-28
  • 来自专栏深度学习自然语言处理

    影响高端AI炼丹!英伟达、AMD断供高端GPU!

    结果看到的是: 8月31日,全球两大 GPU 厂商 NVIDIA 和 AMD 均证实,已收到美国政府通知,即刻停止向中国出口旗下高端 AI 芯片。 此举主要影响那些高端的训练卡,对咱们“AI炼丹”有影响。 像阿里、百度、腾讯、联想、浪潮在内的多家中国企业将受影响,没了显卡,业务规模的扩大会受限,超大规模计算啥的都会受影响。

    1.3K20编辑于 2022-09-02
  • 来自专栏机器学习炼丹之旅

    炼丹秘籍(ML指南)

    前言 深度学习的调参就像炼丹,而我就是一位正尝试入坑的“炼丹学徒”,在收藏了几个链接后,看着臃肿的收藏夹,心血来潮,不如写篇博客,整理一下近期学习过程中遇到的好课程、好博客、好项目,会贴上链接,做个简短的评价 spm_id_from=333.788.b_765f7570696e666f.2 评价 真正的保姆级教程,PyTorch深度学习快速入门教程(绝对通俗易懂!) B站up主 跟李沐学AI 个人进度 佛系看,有空会认真刷一遍 【完结】动手学深度学习 PyTorch版 传送门 https://space.bilibili.com/1567748478? spm_id_from=333.337.0.0 评价 个人背景:硅谷华人技术大神,深度学习框架 MXNet 创始人之一;他在江湖人称“沐神",甚至被称作深度学习界的“米其林”,现任 AWS AI 首席科学家 关于AI领域的一个很好的博主,他的《动手学深度学习》看起来很棒,有空要刷一遍,其他视频也很有价值。

    1.3K10编辑于 2022-09-19
  • 来自专栏运维开发王义杰

    AI: 大模型训练,科技界的现代炼丹术?

    引言 在人工智能领域,大模型的训练常被比作古代炼丹术。这种比喻并非空穴来风,而是基于两者之间的一些惊人相似之处:不确定性高、理论不完善、过程复杂且成本高昂。 本文旨在深入探讨这种比喻,分析大模型训练的实际过程,以及它与古代炼丹术的异同点。 大模型训练的“炼丹”特性 不可预测性和不确定性:炼丹术士往往通过不断尝试,希望能找到通往长生不老的神秘配方。 如同炼丹术士缺乏对化学和物理的深刻理解,数据科学家和工程师也常常在理论和实践之间摸索。 高成本与资源消耗:炼丹术常需要珍贵材料和长时间的烹炖。 经验与直觉的重要性:炼丹术士依赖经验和直觉,而大模型的训练也常常依赖研究人员的直觉和经验判断,特别是在模型设计和调参时。 大模型训练的未来:超越“炼丹” 尽管当前大模型训练存在许多类似于炼丹术的特点,但科技界正致力于将其推向更加科学和系统化的方向。

    76210编辑于 2023-12-28
  • 来自专栏机器之心

    还在「黑盒炼丹」? 教你如何实现一行代码透视炼丹过程

    机器之心发布 机器之心编辑部 开发者在炼丹的过程中会不会遇到这些问题呢?比如说深度学习模型训练过程中盯 Log 盯得头晕眼花?复杂模型结构全靠脑补?网络各层效果无法评估?模型评估指标难以综合权衡? 想必各位「炼丹师」、「调参侠」都中过招吧?莫慌,飞桨给大家「送解药」来了! ? 这剂解药就是VisualDL 2.0——飞桨可视化分析工具全面改版升级,帮众位开发者们从 「炼丹萌新」 变身「太上老君」。 怀疑我们自吹自擂?那就让我们一起看看 VisualDL 到底是啥? 2. 点击 「网络结构」 页签,将保存在 「./model」 目录下的模型文件拖进页面即可看到模型的结构。 ? 生态支持全面:与飞桨的多个套件、工具组件以及 AI 学习和实训社区 AI Studio 全面打通,为开发者们在飞桨生态系统中提供最佳使用体验。

    60520发布于 2020-08-12
  • 来自专栏AIWalker

    炼丹手册】升级版炼丹手法助力RCAN性能媲美SwinIR

    在“炼丹”领域,手法对于“丹”的质量影响还是比较大的。 在图像分类这个领域,亚马逊的研究员提供了一个比较详尽“炼丹手册”,见arXiv:1812.01187;在目标检测领域也有同样有不少“炼丹手册”,而且还不止一份,比如YOLOv4,再比如亚马逊的“炼丹手册 2炼丹手册 本文主要从两个角度进行探索,一个网络架构,一个是训练策略。 Warm Start:对于不同尺度的图像超分模型,我们采用x2预训练模型对x3和x4进行初始化,称之为warm start。 上表给出了所提方案与SwinIR的对比,从中可以看到: 在X2任务上,相比RCAN,SwinIR性能超越0.41dB@Urban100; 当引入优秀训练策略后,RCAN-it大幅减小了其与SwinIR之间的性能差距

    1.7K10编辑于 2022-03-29
  • 来自专栏来自csdn的博客

    速通 DeepSeek 提示词,一文玩转日常AI炼丹

    【专栏介绍】:【AI修仙】在当今飞速发展的科技浪潮中,人工智能犹如一颗璀璨的明珠,闪耀着智慧的光芒。本专栏将带你深入AI的世界,从基础理论到前沿应用,全方位解读这一前沿科技。 我们将分享AI在多种领域的创新实践,介绍实用工具与学习资源。关注本专栏,让我们一起开启一场精彩绝伦的AI探索之旅,拥抱智能时代的无限机遇! 2. 添加背景信息 如果问题涉及特定的背景或情境,可以在提示词中添加相关背景信息。这有助于 DeepSeek 更全面地理解问题。 2. 多语言支持 DeepSeek 支持 多种语言,你可以根据自己的需求选择使用不同的语言进行提问。 关注我,学习更多AI新知识!

    68710编辑于 2025-02-12
  • 来自专栏AI算法与图像处理

    使用VSCode进行远程炼丹

    作者:韩冰https://zhuanlan.zhihu.com/p/89662757 本文已由作者授权,未经允许,不得二次转载 本文分享一下我使用vscode作为我的炼丹炉的使用心得。 在我们开发过程中,经常需要连接远程的服务器进行炼丹。通常情况下,我们会使用Pycharm的远程开发功能,同步服务器与本地的项目文件,使用远程解释器进行开发。 使用autossh进行内网穿透 设想这样的场景,你在公司或者学校有一台用于炼丹的服务器,但是只能在内网访问。我在家里使用笔记本也想连接到远程的服务器中,这时我们应该怎么办呢。 假设公网服务器为主机A,内网炼丹炉为主机B,我们的笔记本为C则 主机B上的操作 将主机B上的公钥拷贝到公网主机C实现B对C的免密登录(具体参考《ssh设置免密登录》),在主机B上执行autossh命令(

    1.9K20发布于 2019-11-29
  • 来自专栏计算机视觉战队

    炼丹感悟——超详细解读

    必须要保证大量、高质量且带有准确标签的数据,没有该条件的数据,训练学习很困难的(但是最近我看了以为作者写的一篇文章,说明不一定需要大量数据集,也可以训练的很好,有空和大家来分享其思想---很厉害的想法); 2、 1、选择优化算法 传统的随机梯度下降算法虽然适用很广,但并不高效,最近出现很多更灵活的优化算法,例如Adagrad、RMSProp等,可在迭代优化的过程中自适应的调节学习速率等超参数,效果更佳; 2、 参数设置技巧 无论是多核CPU还是GPU加速,内存管理仍然以字节为基本单元做硬件优化,因此将参数设定为2的指数倍,如64,128,512,1024等,将有效提高矩阵分片、张量计算等操作的硬件处理效率 ; 3、正则优化 除了在神经网络单元上添加传统的L1/L2正则项外,Dropout更经常在深度神经网络应用来避免模型的过拟合。 案例一,众所周知DeepMind和OpenAI都做游戏 AI,一个做星际一个做Dota,为了训练出一个超过人类水平的 AI,两家共同的思路就是 self-play,但是实际上 self-play 会遇到训练时过拟合于对手策略的问题

    75520发布于 2020-09-28
  • 来自专栏Java项目实战

    AI绘画专栏之statble diffusion 炼丹素材批量调整分辨率 (十六)

    在人工智能绘画领域,“炼丹”和“打标”是两个比较专业的术语,它们有着特定的含义和作用。一、炼丹炼丹是指利用深度学习技术,通过大量的数据和计算资源来训练模型,使其能够自动学习和生成新的知识或技能。 在AI绘画领域,炼丹通常指的是训练图像生成模型的过程。这个过程需要大量的图像数据和计算资源,通过反复迭代和优化模型参数,使得模型能够学习到图像的分布和特征,从而生成高质量的图像。 二、打标打标是指在AI绘画过程中,对图像进行标注或分类的过程。标注是指将图像中的各种元素或特征进行标记和分类,例如将图像中的前景、背景、人物、物体等进行标记和分类。 打标对于AI绘画来说非常重要,它可以帮助模型更好地学习和生成图像。通过标注或分类,可以将图像转化为模型可以理解的形式,从而使得模型能够更好地学习和生成类似的图像。 /usr/bin/env python3# -*- coding:utf-8 -*-# @author zhaokk# @date 2023/11/6# @file txt2image.pyimport

    1.2K20编辑于 2023-11-13
  • 来自专栏GiantPandaCV

    MosaicML Composer 炼丹技巧14条

    GiantPandaCV 导语:本文的主要内容是介绍 MosaicML Composer 库中包含的一些炼丹调优技巧 Github 链接:https://github.com/mosaicml/composer GPT2-52m baseline 表示训练序列长度 1024 且输入加上可学习的位置编码,GPT2-52m ALiBi 0.25x 则表示去除输入位置编码且qk attention 加上偏置的方式, GPT2-83m baseline 26.569 17412 97.04 GPT2-83m ALiBi 0.25x 26.19±0.02 0.38 14733±3 0.85 80.97 0.83 四、Channels Last (NHWC Data Format) 参考文献: Volta Tensor Core GPU Achieves New AI Performance Milestones ,https://developer.nvidia.com/blog/tensor-core-ai-performance-milestones/ Inside Volta: The World’s Most

    97120编辑于 2021-12-09
  • 来自专栏机器学习与生成对抗网络

    炼丹志 | 2021显卡挑选指南

    大佬已经帮我们把性能排好了,显卡天梯图在这里:https://www.mydrivers.com/zhuanti/tianti/gpu/ 三、显卡购买指南 同一显卡显示器分辨率不同,帧数会不同,1080P、2k 1、DNF/LOL/CF/DOTA2等网游 这类游戏对显卡要求不高,一般新一点的CPU(比如9代10代酷睿,APU 3200G、2200G等)核显都足够,如果还是想选一张独显,下至550Ti,上至1050Ti 铭瑄(MAXSUN)GeForce GT 1030变形金刚2G 64Bit/GDDR ? 微星(MSI)GT1030/GT730/GT710 小游戏办公独立显卡 I 1050Ti: ? 技嘉(GIGABYTE)GTX1660Ti/1660super OC 6G游戏显卡 3、光追、2K游戏,1080P大型3A 想在2K下畅玩游戏个人推荐2060及以上的卡(LOL等网游2K不用)。 AMD RADEON RX 6700 XT台式机显卡 7nm AMD RDNA2架构 6800XT:这款是AMD公版,要预约抢购 ?

    2.3K30发布于 2021-07-05
  • 来自专栏炼丹笔记

    CTR预估系列炼丹入门手册

    炼丹之前,先放一张CTR预估系列的家谱,让脉络更加清晰。 (一)FiBiNET:结合特征重要性和双线性特征交互进行CTR预估 ? (2)而 Bilinear-Interaction Layer 层提出一种结合Inner Product和Hadamard Product方式,并引入额外参数矩阵W,学习特征交叉。 (2)Interest Extractor Layer 兴趣抽取层利用GRU提取用户兴趣特征。 (2)DICE激活函数的设计。由于ReLU和PReLU激活函数都是在0处进行变化,但并非所有输入都会在0处变化,因此文章设计了Dice激活函数,根据每层的输入来自适应的调整激活点的位置。 (2)Deep部分将原始稀疏特征表示映射为稠密表示,同时FM和DNN部分共享Embedding层特征表达。 6.3 效果 ? (七)AFM:FM串行结构加入Attention机制: ?

    74413发布于 2021-05-14
  • 来自专栏HD-学习笔记

    语音振动信号处理及CNN炼丹

    语音/振动信号用于识别人的身份近几年才兴起。大概是2017年,出现了通过振动信号识别身份的论文,之后迅速出现了振动信号处理在其他方面的应用。我记得有人通过手指触摸物体产生的振动去识别物体的种类。当然物体种类是预先准备好的,可以看出这时已经可以粗略的利用振动信号处理识别相关的问题了。

    31720编辑于 2023-07-24
  • 来自专栏HD-学习笔记

    语音振动信号处理及CNN炼丹

    语音/振动信号用于识别人的身份近几年才兴起。大概是2017年,出现了通过振动信号识别身份的论文,之后迅速出现了振动信号处理在其他方面的应用。我记得有人通过手指触摸物体产生的振动去识别物体的种类。当然物体种类是预先准备好的,可以看出这时已经可以粗略的利用振动信号处理识别相关的问题了。

    81420编辑于 2023-02-22
  • 来自专栏新智元

    旷视AI炼丹房」Brain++ 再升级!首席科学家孙剑发AI「灵魂」三问

    业界认为「炼丹」过程正如算法研究过程。 众所周知,AI的三大支柱分别是数据、算法、算力。 那么在炼丹过程中,数据便是金木水火土等自然元素,算法框架是用来炼丹的炉子,算力就是炼丹炉下的三昧真火。 ? 元素全不全,炉子好不好,火旺不旺决定了AI开发者能不能练出一颗AI的「灵丹妙药」。 从2014年至今,中国新一代炼丹宗师旷视经过多年的磨练打磨,打造了「炼丹房」—— Brain++。 下面这2个红旗就是通过自动化平台所发现,图片的画风其实和我们真实场景中的差别非常大,就属于一些无效数据,或者说噪音数据。 ? 平台自动检测出后,就会在训练模型前帮你剔除。 总的来看,当我们分析完想要做一个旗帜的检测需求之后,首先需要2个小时来做一个图像的质检和旗帜的标注,之后选择一个GPU的训练环境,模型训练的时间大概花费一个小时左右的时间。 在上线部署后,根据刚刚提到的分析和调优策略,研究人员进行了2轮左右的迭代,一个「旗帜检测」算法就诞生了! ?

    1K40发布于 2021-07-29
领券