首页
学习
活动
专区
圈层
工具
发布

#torch

从0开始训练自己的LLM(2)

golangLeetcode

Transformer架构是深度学习领域的革命性设计,由谷歌大脑团队在2017年提出,通过自注意力机制彻底改变了序列建模方式。其核心优势在于并行...

9210

torch.nn.Embedding 中 max_norm 的作用

AlphaHinex

nn.Embedding(num_embeddings, embedding_dim) 可以看成是一个查表词典:

8610

torch.compile 加速原理:kernel 融合与缓冲区复用

deephub

torch.compile 通过提前构建计算图来解决这个问题。它的核心策略是操作融合和缓冲区复用:第一次调用需要编译而之后的推理会快很多。在 PyTorch 官...

15110

30:【uv + torch】2026最快安装GPU PyTorch & 避开conda坑

安全风信子

摘要: 本文详细分析2026年使用uv和torch快速安装GPU版本PyTorch的方法,以及如何避开conda的常见问题。文章提供了完整的安装指南、性能对比、...

84910

卷积神经网络

贺公子之数据科学与艺术

卷积神经网络(CNN)主要由输入层、卷积层、激活函数、池化层和全连接层组成。典型结构为:

44010

从零实现3D Gaussian Splatting:完整渲染流程的PyTorch代码详解

deephub

3D Gaussian Splatting(3DGS)现在几乎成了3D视觉领域的标配技术。NVIDIA把它整合进COSMOS,Meta的新款AR眼镜可以直接在设...

82610

Transformer自回归关键技术:掩码注意力原理与PyTorch完整实现

deephub

掩码注意力(Causal Attention)是生成式模型的核心技术,它传统自注意力机制有根本的不同,掩码注意力限制模型只能关注当前位置之前的tokens,确保...

50210

深入解析torch.compile:提升PyTorch模型性能、高效解决常见问题

deephub

近年来,PyTorch已在学术界和工业界稳固了其作为主流深度学习框架的地位。随着PyTorch 2.0的发布,其核心功能之一torch.compile为用户提供...

1.6K10

AI如何理解语言?自注意力机制的技术原理与代码实践

AI浩

当你与ChatGPT、文心一言或通义千问对话时,是否曾好奇过:AI是如何理解你的话语并给出连贯回复的?为什么它能抓住句子中词语间的微妙关系,甚至能领会言外之意?

33110

导入apex报错AttributeError: module ‘torch‘ has no attribute ‘library‘

git clone firc-dataset

always have Traceback (most recent call last): File "", line 1, in File "/roo...

30900

[环境配置]stable diffusion启动报错cannot import name ‘get_device‘ from ‘basicsr.utils.misc‘

git clone firc-dataset

python webui.py启动后报错cannot import name 'get_device' from 'basicsr.utils.misc'

13310

[深度学习][CenterFusion]关于centerfusion训练注意的要点

git clone firc-dataset

pytorch版本问题:我使用的torch==1.11.0+cu113 torchvision==0.12.0+cu113版本,训练时候会报错torchvisi...

14100

[python]torch.cat和numpy.concatenate对应拼接

git clone firc-dataset

因此torch.cat函数和Numpy中concatenate对应,numpy里面是没有cat函数的

18910

[pytorch]pytorch官方安装法

git clone firc-dataset

conda install pytorch=0.4.1 cuda90 -c pytorch conda install pytorch=0.4.1 cuda92...

83710

[deepstream][原创]deepstream:5.1-21.02-triton的docker无法使用pytorch

git clone firc-dataset

After installing torch, remove “/opt/tritonserver/lib/pytorch/” from the LD_LIBR...

19200

[pytorch][转载]torch.onnx.export():将pytorch模型转换为.onnx模型

git clone firc-dataset

你好,请问pytorch模型转换onnx时的input_names和output_names都是固定的吗?还是根据网络定义的?如果根据网络定义,如何查看呢?是按...

66710

[Pytorch][转载]用pytorch实现两层神经网络

git clone firc-dataset

这次我们使用PyTorch tensors来创建前向神经网络,计算损失,以及反向传播。

23810

pytorch2.3.0有警告UserWarning: Plan failed with a cudnnException: CUDNN_BACKEND_EXECUTION_PLAN_

git clone firc-dataset

查看自己的pytorch 版本是不是2.3.0, 在 pytorch 2.3.0 版本中,即使没有抛出异常,它也会打印这个不需要的警告:可以参阅https://...

30110

[pytorch]torch.cuda用法以及判断显卡是不是存在问题

git clone firc-dataset

torch.cuda.is_available() # 查看是否有可用GPU torch.cuda.device_count() # 查看GPU数量 tor...

48510

[python][pytorch]torch.Tensor数值类型转换

git clone firc-dataset

19710
领券