首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏C++

    DeepSeekDeepSeek概述 | 本地部署deepseek

    FP8混合精度训练:设计了FP8混合精度训练框架,首次验证了在极大规模模型上进行FP8训练的可行性和有效性。 1.2 -> 模型发布 DeepSeek-V3:2024年12月发布,总参数达6710亿,采用创新的MoE架构和FP8混合精度训练,训练成本仅为557.6万美元,在聊天机器人竞技场(Chatbot Arena 2 -> 本地部署deepseek 2.1 -> 安装ollama ollama官网 点击Download下载 选择对应的操作系统,本次以Windows操作系统为例 点击Download for Windows 2.2 -> 部署deepseek-r1模型 回到ollama官网点击左上角的Models进入如下界面。 这样本地部署deepseek就算完成啦

    3.8K32编辑于 2025-02-08
  • 来自专栏C++

    DeepSeekdeepseek可视化部署

    1 -> 前文 【DeepSeekDeepSeek概述 | 本地部署deepseek 通过前文可以将deepseek部署到本地使用,可是每次都需要win+R输入cmd调出命令行进入到命令模式,输入命令 ollama run deepseek-r1:latest。 2 -> 部署可视化界面 进入Chatbox官网点击免费下载 下载好后双击开始安装Chatbox 点击下一步 选择适合的安装位置,并点击安装 安装成功后,就可以运行Chatbox了 进入Chatbox会弹出如下界面 ,点击使用自己的 API Key 或本地模型 点击第一个Chatbox AI 进入该界面后,点击CHATBOX AI,选择其他的模型提供方 选择Ollama API这个模型提供方 点击模型,会显示已经部署到本地的 deepseek大模型,选择该模型,并点击保存 随便提问一个问题试一下。

    95920编辑于 2025-02-12
  • deepseek本地部署有什么用?解锁 DeepSeek 本地部署

    DeepSeek 作为一款备受瞩目的大模型工具,其本地化部署逐渐成为众多用户关注的焦点。今天,我们就来深入探讨 DeepSeek 本地部署的用途,为大家详细介绍一款助力本地部署的神器,快来看看吧。​ 一、为什么要进行 DeepSeek 本地部署DeepSeek 本地部署保障数据隐私,适配敏感行业合规需求。降低网络依赖,无网络也能稳定运行,保障实时场景业务连续。 二、DS 本地部署大师 —— 本地部署的得力助手​①一键部署,轻松上手​DS 本地部署大师它内置了 DeepSeek - R1 全系列模型(1.5B/7B/14B/32B/70B),根据智能推荐并下载适合的模型版本 ②部署完成,进入体验​选择模型后等待下载,下载完成后,软件会自动安装完成。之后,点击【立即体验】进入智能界面体验DeepSeek 本地部署效果。​ DS 本地部署大师凭借其强大的功能和便捷的操作,为用户实现 DeepSeek 本地部署提供了一站式解决方案。

    2.3K10编辑于 2025-08-21
  • 来自专栏分享学习

    DeepSeek本地部署教程

    DeepSeek是一款强大的知识检索和问答工具,通过本地部署,用户可以更加便捷地进行知识检索和问答操作。本文将详细介绍如何在本地部署DeepSeek,以便用户能够充分利用其强大的功能。 环境要求 在本地部署DeepSeek之前,需要确保计算机满足以下环境要求: 操作系统:Linux(推荐)或Windows。 Python版本:Python 3.7及以上。 在DeepSeek项目目录下,运行以下命令创建虚拟环境:python3 -m venv deepseek-env(Linux)或deepseek-env\Scripts\activate(Windows 用户也可以根据自己的需求选择合适的模型版本进行下载,如1.5b、7b、8b、14b、32b、70b或671b等。模型越大,对计算机的内存和显卡配置要求越高。 (result) 使用与调试 使用DeepSeek 在成功部署并启动DeepSeek后,可以通过API服务器或直接在Python脚本中调用模型进行推理。

    1.7K10编辑于 2025-05-18
  • deepseek本地部署简要教程

    安装ollama访问:https://ollama.com/安装AI模型访问模型列表:https://ollama.com/search安装deepseek-r1命令行运行:ollama run deepseek-r1

    91720编辑于 2025-02-13
  • 来自专栏运维小路

    DeepSeek-离线部署

    前面2个小节我们虽然介绍了在Win电脑和Linux服务器里面部署DeepSeek,他们都有安装模型的操作,而且这个操作会很费时间,那有没有一个方法可以提前下载好文件,然后只需要一个启动命令就可以实现呢? 如果要提供自动部署脚本,我们首先就是要分析我们的安装过程都做了什么,然后根据部署过程的动作才能把部署内容封装到一起。 3.文件组合打包 前面两个步骤我们搞清楚了这个DeepSeek的逻辑,我们把ollama和模型的文件放置到一起,然后进行打包压缩(该文件压缩后大概3.1G)。

    2K10编辑于 2025-02-21
  • 来自专栏运维小路

    DeepSeek-基于vLLM部署

    #安装vLLM,大概会产生8G的内容。 #我这里加速用华为会报错,用阿里则没问题。 #国内镜像站 https://hf-mirror.com/deepseek-ai/DeepSeek-R1 脚本下载 #下载一个python包,用于下载模型 (vllm) [root@MiWiFi-RD03 vllm serve \ /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \ --dtype=half 8.访问模型 这个 (): if chunk: # 处理数据帧 decoded_chunk = chunk.decode('utf-8' result = stream_chat_response() print("\n--- 完整响应 ---") print(result) 我后面用Ubuntu 20.4 重新部署了一次

    2.5K01编辑于 2025-03-03
  • 来自专栏运维小路

    DeepSeek-Open WebUI部署

    前面部署了vLLM版本以后,访问它比较麻烦。如何才能更好的实现访问呢,这个就是我们今天要讲的Open WebUI,它可以向我们使用官方DeepSeek一样直接在网页进行对话。 OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1 # 设置默认模型路径 export DEFAULT_MODELS="/root/deepseekr1_1.5b/deepseek-ai /DeepSeek-R1-Distill-Qwen-1.5B" # 启动Open WebUI open-webui serve 4.配置Open WebUI 5.开始提问

    1.7K00编辑于 2025-03-04
  • 来自专栏Tencent云服务征文

    DeepSeek上云 | 腾讯云HAI如何部署使用DeepSeek

    HAI提供了不同的算力套餐,用户可以根据自己的需求购买,并且可以通过HAI预置的多种 AI 环境帮助用户快速部署。所以本篇文章主要探究如何使用HAI,一键轻松完成DeepSeek部署。 按照我们本地部署的思维和步骤来说,在上面步骤中选择安装Ollama,然后再用Ollama拉取DeepSeek大模型完成部署。 下载模型如果DeepSeek-R1 1.5B和7B无法满足你的需求,想要安装8B、14B的模型,我们可以通过JupterLab 连接实例,进行后台安装。选择Terminal。 通过 ollama list 命令可以看到环境中预置的两个DeepSeek模型。我们通过使用以下命令就可以安装8b模型。ollama run deepseek-r1:8b14b及其他模型同理。 结语与TIONE安装DeepSeek相比较,HAI也具备了快速部署DeepSeek的能力。通过一键式操作,用户就可以使用云化的DeepSeek

    1.9K51编辑于 2025-02-07
  • 来自专栏云上实验室

    如何快速部署DeepSeek| 腾讯云TI部署指南

    一、为什么要使用DeepSeek + 腾讯云HAI近年来,随着大模型与多场景应用的蓬勃发展,AI工程师越来越需要快速、高效且低成本地部署和管理模型服务。 在模型体验中可以体验与DeepSeek模型的对话。创建在线服务在DeepSeek的模型页面,点击新建在线服务,进入到服务创建页面。填入服务名称之后,选择机器来源用来部署DeepSeek。1. -8BLLaMA8BLLaMA 版本,英文能力更强中等DeepSeek-R1-Distill-Qwen-14BQwen14B中文能力更强,适用于专业应用较高(A100 级别 GPU)DeepSeek-R1 点击调用API,可以查看DeepSeek的服务调用地址。同时可以点击实例进入详情页面,我们可以看到安装了DeepSeek大模型实例的信息。这样,我们就完成了DeepSeek在腾讯云TI平台的部署。 有任何问题或意见,欢迎在相关社区或官方文档中查阅更多信息,也可以向腾讯云和DeepSeek官方团队寻求支持。祝你一切部署顺利,玩得开心!

    1.6K30编辑于 2025-02-10
  • 来自专栏开发经验

    DeepSeek本地部署+微调训练

    本地训练流程(无需专业知识),从数据准备到模型部署的完整操作指南:一、准备训练数据1. 下载训练脚本创建文件夹:mkdir deepseek_train下载官方示例脚本:wget https://example.com/train_deepseek.py wget https://example.com 启动训练在命令行执行(根据显存调整参数):accelerate launch train_deepseek.py \ --model_name "deepseek-ai/deepseek-llm-7b 查看训练日志训练文件夹会生成 training_logs.txt,重点关注:Epoch 1/3 | Loss: 2.34 → 1.78Epoch 2/3 | Loss: 1.78 → 1.23五、部署训练好的模型 40 # GPU加速层数常见问题处理问题现象解决方案训练时显存不足① 减少batch_size ② 添加 --gradient_checkpointing 参数输出乱码检查数据文件是否保存为UTF-8编码模型不加载确认

    3.7K23编辑于 2025-02-25
  • 来自专栏前端数据可视化

    『NAS』在绿联部署DeepSeek,接入n8n工作流-ollama

    点赞 + 关注 + 收藏 = 学会了 整理了一个NAS小专栏,有兴趣的工友可以关注一下 《NAS邪修》 在《『NAS』不止娱乐,NAS也有生产力,在绿联部署AI工作流工具-n8n》里讲解了如何在绿联 NAS里部署 n8n,但如果没有 AI 能力加入,n8n 就只是一个木头。 本文就讲讲在绿联NAS里如何使用 Docker 部署一个 DeepSeek,并接入到 n8n 中。 n8n 接入 Ollama 本文不讲 n8n 如何使用,只介绍在绿联 NAS 上如何用 n8n 接入 Ollama,并使用 DeepSeek 模型。 想了解 n8n 怎么玩出花样,欢迎关注 《n8n修炼手册》 在浏览器输入你在 NAS 部署的 n8n 地址,创建一个工作流。 点击画布中间的加号,或者按下键盘的 Tab 键。

    11110编辑于 2026-05-21
  • 来自专栏Crossin的编程教室

    DeepSeek 本地部署指南(基于 vLLM)

    本指南将详细介绍如何使用 vLLM 在本地部署 DeepSeek 语言模型。 我们将以 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型为例,逐步指导你完成环境配置、模型下载、vLLM 安装及推理服务的启动与调用。 1. 下载 DeepSeek 模型 接下来,我们需要下载 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型。 虽然某些模型可能需要注册账号,但 DeepSeek-R1-Distill-Qwen-7B 是公开的,可直接下载。 3. 安装 vLLM vLLM 是一个高效的大型语言模型推理库,支持快速部署。 总结 通过以上步骤,你已成功在本地部署DeepSeek 模型,并能够通过 vLLM 进行推理。如果在部署过程中遇到问题,请参考 vLLM 官方文档或在相关社区寻求帮助。祝你使用愉快!

    1.3K10编辑于 2026-03-11
  • 来自专栏小陈运维

    使用Ollama部署deepseek大模型

    使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 模型,也可以启动他的模型https://ollama.com/search# 模型的安装命令# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1Gollama run deepseek-r1 :1.5b# 7B Qwen DeepSeek R1# 所需空间大约 4.7Gollama run deepseek-r1:7b# 8B Llama DeepSeek R1# 所需空间大约 4.9Gollama run deepseek-r1:8b# 14B Qwen DeepSeek R1# 所需空间大约 9Gollama run deepseek-r1:14b# 32B Qwen DeepSeek R1# 所需空间大约 20Gollama run deepseek-r1:32b# 70B Llama DeepSeek R1# 所需空间大约 43Gollama run deepseek-r1:70b# 671B

    3.4K12编辑于 2025-01-26
  • 来自专栏IT从业者张某某

    DeepSeek从云端模型部署到应用开发-01-社区内一键部署DeepSeek

    背景 DeepSeek现在流行度正盛,今年的机器学习就用他作为一个开端,开整。 本文是基于百度aistudio的在线课程《DeepSeek从云端模型部署到应用开发》。 AIstudio社区内一键部署DeepSeek 什么是Ollama Ollama的原理主要涉及模型架构基础、本地化运行机制、多模型管理策略、量化与优化技术等多个方面,以下是具体说明: 基于Transformer 例如,将一个原本以32位浮点数存储的权重矩阵转换为8位整数存储,存储量可减少为原来的四分之一。 轻量化设计:通过量化技术,如4-bit或8-bit量化,显著降低模型内存占用,保持较高推理性能。 模型参数量 社区内一键部署DeepSeek 首先点击部署 选择新建部署,然后选择llama-70B模型 然后就部署成功了 点击使用或详情,可以查看到具体的api-key和地址,需要注意的是,现在api-key

    56700编辑于 2025-03-15
  • 来自专栏小陈运维

    使用Ollama部署deepseek大模型

    使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama deepseek-r1:1.5b # 7B Qwen DeepSeek R1 # 所需空间大约 4.7G ollama run deepseek-r1:7b # 8B Llama DeepSeek R1 # 所需空间大约 4.9G ollama run deepseek-r1:8b # 14B Qwen DeepSeek R1 # 所需空间大约 9G ollama run deepseek-r1 :14b # 32B Qwen DeepSeek R1 # 所需空间大约 20G ollama run deepseek-r1:32b # 70B Llama DeepSeek R1 # 所需空间大约 43G ollama run deepseek-r1:70b # 671B Llama DeepSeek R1 # 所需空间大约 404G ollama run deepseek-r1:671b

    2.7K20编辑于 2025-02-04
  • 来自专栏AllTests软件测试

    本地部署AI大模型DeepSeek

    DeepSeek的核心产品,是一系列强大的大语言模型。 官方网址: https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点: 多平台支持,如Windows、macOS、Linux,还支持Docker,方便跨平台部署。 2、搜索并安装DeepSeek模型。 搜索大语言模型: https://ollama.com/search 可以看到DeepSeek-R1。 它支持多种大语言模型运行程序,如Ollama和兼容OpenAI的应用程序编程接口(API),还内置了用于检索增强生成(RAG)的推理引擎,使其成为一个强大的人工智能部署解决方案。

    82410编辑于 2025-02-10
  • 来自专栏stark张宇

    新手快速安装部署本地DeepSeek

    概述随着DeepSeek的爆火,身为行业从业人员不得不了解和接受,AI做为一种工作中工具的重要性已经变的不言而喻了,互联网的维度已经在悄悄的变化了,分享一篇本地安装部署DeepSeek的教程。 2、选择模型ollama数据库里更新了很多数据模型,现在最火的属于咱们的DeepSeek-R1,选择电脑配置能运行起来的对应模型,不然会很慢,主要是内存和CPU要高,处于体验尝鲜来说,我选择的是7b的模型 ,就可以使用本地部署的模型进行简单交互,下图中>>>后面是我提问的问题,蓝色的think是DeepSeek-R1自我思考和推理的过程,绿色的框经过推理而得出是答案,是不是很简单,就在本地部署完了。 ChatboxChatbox是AI对话框工具,点击官网下载,安装,设置对话框选择 ollama Api 和 deepseek-r1:7b 模型。这样看起来高大上的AI对话盒子就完成了。 Open Web Ui第二种方式使用Open Web Ui方式进行部署,首先你要安装Docker,用容器的方式来进行安装和访问,Github地址:https://github.com/open-webui

    98844编辑于 2025-02-15
  • 来自专栏前端框架

    手机也能本地部署 DeepSeek

    网上已经很多PC端本地部署DeepSeek的教程了,今天来教大家怎么在手机端部署。 首先需要在手机端下载PocketPal。 IOS如下: 下之后,我们打开 PocketPal,打开点击 go to models 点击加号,可以选择加载模型的方式:本地或者 Hugging Face 我们可以选择Hugging Face, 搜索DeepSeek

    1.5K10编辑于 2025-02-26
  • DeepSeek-7B-chat WebDemo 部署

    DeepSeek-7B-chat WebDemo 部署 DeepSpeek 介绍 由70亿个参数组成的高级语言模型 DeepSeek LLM。 为了促进研究,DeepSeek 已经为研究社区开放了DeepSeek LLM 7B/67B Base 和 DeepSeek LLM 7B/67B Chat。 /deepseek-llm-7b-chat', cache_dir='/root/autodl-tmp', revision='master') 代码准备 在/root/autodl-tmp路径下新建 之间,默认值为512 max_length = st.slider("max_length", 0, 1024, 512, step=1) # 创建一个标题和一个副标题 st.title(" DeepSeek /deepseek-llm-7b-chat' # 定义一个函数,用于获取模型和tokenizer @st.cache_resource def get_model(): # 从预训练的模型中获取

    69010编辑于 2025-07-17
领券