首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • DeepSeek大模型本地私有化部署详尽步骤解析,助你轻松部署

    大模型私有化部署,即将AI模型本地部署,在开始前,我们有必要先理解本地部署带来的好处是什么,它不仅仅是“换个地方运行AI”,更是对数据、成本和使用体验的一次全新掌控。 简单来说,如果你的目标是快速、无痛地在自己的Windows电脑上体验本地运行的DeepSeek模型,而不想陷入复杂的配置过程,「DS本地部署大师」是一个理想的起点。 在输入框中输入你的问题或指令,即可与本地运行的DeepSeek模型进行对话。你可以直观地感受到本地部署带来的低延迟响应,需要注意的是,输入的问题越详细,生成的内容也会更丰富。 在对话界面,你除了可以选择本地部署的本地模型,还可以切换到在线模型,如DeepSeek、文心一言、豆包,并可以结合联网搜索功能。 通过本文的指南,相信你已经掌握了在个人电脑上部署DeepSeek模型的方法,是保障数据安全的一项重要实践,感兴趣的小伙伴可以去尝试下。

    5.9K50编辑于 2025-08-25
  • 来自专栏猫头虎技术专区

    DeepSeek私有化部署解决方案:如何在腾讯云HAI上部署并使用DeepSeek蒸馏模型

    DeepSeek私有化部署解决方案:如何在腾讯云HAI上部署并使用DeepSeek蒸馏模型 摘要 本文详细介绍了如何在腾讯云HAI(Hyper Acceleration Instance)上实现DeepSeek DeepSeek作为国内领先的高性能AI模型,支持私有化部署以满足企业对安全性与可控性的要求。 DeepSeek作为国内领先的高性能AI模型,支持私有化部署以满足企业对安全性与可控性的要求。 总体而言,DeepSeek私有化部署中的表现令人满意,能够满足企业对数据隐私和定制化服务的需求。 总结 DeepSeek私有化部署解决方案为企业用户提供了安全、可控的AI模型使用环境。通过腾讯云HAI,用户可以快速部署并体验DeepSeek的强大功能。

    2.2K70编辑于 2025-02-10
  • 来自专栏AI 大数据

    DeepSeek 私有化】数据安全无忧:手把手教你部署 DeepSeek 并构建私有 API

    摘要 本文旨在指导企业和个人开发者如何在私有服务器上部署 DeepSeek,并通过 Flask 或 FastAPI 封装 API,以避免云端依赖并确保数据安全。 DeepSeek 作为一个强大的 AI 模型,可以在私有环境中部署,并通过 API 提供服务。 本文将介绍如何使用 Flask 或 FastAPI 结合 DeepSeek 实现私有部署,并提供完整的代码示例。 框架 安装依赖 首先,安装必要的 Python 包: pip install flask fastapi uvicorn 部署 DeepSeek 模型 将 DeepSeek 模型文件放置在服务器上的合适位置 总结 通过本文的介绍,你应该能够在私有服务器上成功部署 DeepSeek 模型,并使用 Flask 或 FastAPI 封装 API。这种方法不仅提高了数据安全性,还减少了对云服务的依赖。

    3.1K32编辑于 2025-02-13
  • 来自专栏灵墨AI探索室

    私有化部署Dify

    Dify 是一个开源的可视化智能体搭建平台,旨在为用户提供简便、直观的智能体构建和部署体验。 今天,我们将详细讲解如何将 Dify 平台成功部署到你自己的服务器上,从而更好地利用其功能进行智能体开发和管理。为了顺利完成这一过程,我们首先需要做好一些基本准备工作。 同时,腾讯云的轻量级服务器具备较为灵活的配置选项,可以根据不同需求进行定制,确保部署过程顺利高效。 宝塔部署购买服务器首先,我们需要购买一台轻量级应用服务器,该服务器将预装腾讯云专享的宝塔面板,方便我们进行网站或应用的管理与维护。具体配置和界面如下图所示:点击购买后,等待系统启动。 部署dify进入系统后,首先点击进入宝塔面板,然后在宝塔面板中找到并进入 Docker 管理界面。

    5.2K10编辑于 2025-03-18
  • 来自专栏花猪的学习记录

    Twikoo私有化部署

    昨天试着用了一下Waline,现在开发者做的很不错了,部署也很简单,邮件提醒也可以。 总还是有点不甘心,今天又看了一下Twikoo 文档,尝试用 MongoDB + Vercel 部署,成功是成功了,但是国内效果并不好,总是超时(基本就成为了摆设)。 遂又摸索,利用自己的服务器做私有化部署,相对来说繁琐一些(这里用的是docker),但是效果很好。这里记录一下过程。 修改envId: twikoo: envId: https://twikoo.cnhuazhu.top/ 保存,重新部署。最后配置twikoo面板就可以了。 参考文章: Twikoo小白私有化部署教程,迁移腾讯云 | 张军的个人博客 (xiaoniuhululu.com) Twikoo腾讯云函数部署转移到私有部署 | 张洪Heo (zhheo.com)

    5K21编辑于 2022-10-05
  • 来自专栏凝神长老和他的朋友们

    私有化部署 Outline

    好在 GitLab 支持标准 OIDC 协议,而我有一个私有部署的 GitLab 实例,就直接接入了。

    6.2K40编辑于 2023-03-25
  • 来自专栏C++

    DeepSeekDeepSeek概述 | 本地部署deepseek

    1 -> 概述 DeepSeek是由中国的深度求索公司开发的一系列人工智能模型,以其高效的性能和低成本的训练而受到关注。 知识蒸馏:DeepSeek-R1通过知识蒸馏,将长链推理(CoT)模型的推理能力蒸馏到标准LLM中,显著提升了推理性能。 2 -> 本地部署deepseek 2.1 -> 安装ollama ollama官网 点击Download下载 选择对应的操作系统,本次以Windows操作系统为例 点击Download for Windows 2.2 -> 部署deepseek-r1模型 回到ollama官网点击左上角的Models进入如下界面。 这样本地部署deepseek就算完成啦

    3.5K32编辑于 2025-02-08
  • 来自专栏小巫技术博客

    本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”

    本文主要面向想在本地部署私有模型的开发同学,打造专属私人AI助手。 Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。 Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。 Ollama 下载页面 官网:https://ollama.com/ 下载&加载本地模型 下载安装完ollama后,通过命令行可以查看对应的版本,并可以开始部署你想要的模型,这里选择的是deepseek-r1 写在最后 本文实践了如何通过Ollama 本地部署DeepSeek R1 模型,并且尝试通过Dify 平台来创建个人知识库,进而搭建专属私人的AI 助手。

    1.2K10编辑于 2025-06-16
  • 来自专栏E=mc²

    什么是私有化部署

    私有化部署: 一般指的是把第三方应用部署到自己的服务器上。私有化部署是saas产品常用的一种对外服务方式。 ---- 举个例子: 01 比如企业微信就有提供私有化部署服务 为了防止聊天记录泄露,一般企业会采用私有化部署的方式, 通信双方发的消息会发送到自己的私有化服务,这样就可以把聊天信息落入到自己的数据库。 02 再比如现在的低码平台,也会提供私有化部署 这里使用私有化部署一般是有个性化定制的场景,比如在访问低码页面时,你想用自己的域名,你想用自己的登录、鉴权等等。 03 但是对于服务提供方而言,有部分是不希望客户做私有化部署的 像神策sdk提供的服务: 数据采集 -> 数据上报 -> 数据分析是他们服务的链路, 能拿到数据做各种挖掘和分析才是盈利最大的点,如果你采用了私有化部署 ---- 那么什么情况下会使用私有化部署呢?

    4.1K31编辑于 2022-12-22
  • 来自专栏后端知识体系

    Yapi私有化部署方案

    # 背景 作为前文接口管理平台Yapi-最佳实践 (opens new window)的补充,本文将给出Yapi私有化部署方案的教程 开源代码地址https://github.com/benym/yapi-deploy (opens new window) 文件取自yapi-1.9.3开源版本 # 部署方式 # 可视化部署 使用官方提供的yapi-cli工具,部署 YApi平台是非常容易的。 执行 yapi server启动可视化部署程序,输入相应的配置和点击开始部署,就能完成整个网站的部署部署完成之后,可按照提示信息,执行 node/{网站路径/server/app.js}启动服务器。 npm install -g yapi-cli --registry https://registry.npm.taobao.org yapi server # 虚拟机部署 下载本文的yapi-deploy /bin/sh # yapi初始化后会有一个init.lock文件 lockPath="/yapi-virtual/init.lock" # 进入yapi项目,如部署机器不同,请修改该路径 cd /

    3.1K30编辑于 2023-05-15
  • 来自专栏C++

    DeepSeekdeepseek可视化部署

    1 -> 前文 【DeepSeekDeepSeek概述 | 本地部署deepseek 通过前文可以将deepseek部署到本地使用,可是每次都需要win+R输入cmd调出命令行进入到命令模式,输入命令 ollama run deepseek-r1:latest。 2 -> 部署可视化界面 进入Chatbox官网点击免费下载 下载好后双击开始安装Chatbox 点击下一步 选择适合的安装位置,并点击安装 安装成功后,就可以运行Chatbox了 进入Chatbox会弹出如下界面 ,点击使用自己的 API Key 或本地模型 点击第一个Chatbox AI 进入该界面后,点击CHATBOX AI,选择其他的模型提供方 选择Ollama API这个模型提供方 点击模型,会显示已经部署到本地的 deepseek大模型,选择该模型,并点击保存 随便提问一个问题试一下。

    90920编辑于 2025-02-12
  • 来自专栏AI技术应用

    AI私有化部署的费

    AI私有化部署的费用构成非常复杂,不像云服务那样可以简单地按小时或按API调用量计费。它涉及到大量的前期投入(CapEx)和持续的运营维护成本(OpEx)。 以下是AI私有化部署的主要费用组成部分:一、前期投入 (Capital Expenditure - CapEx)这部分费用通常是最大头,且在项目初期一次性或分批支付。 3.集成与部署服务费用:如果企业内部缺乏经验,可能需要聘请外部专业服务公司进行硬件安装、软件配置、系统集成、网络调试和AI模型部署。这笔费用取决于服务的复杂度和时间。 费用估算示例(粗略,仅供参考)以一个中等规模的LLM推理私有化部署为例(非训练):假设需要部署一个百亿参数级的LLM用于内部客服或知识问答,日均百万级推理请求。 总结:AI私有化部署的费用远高于简单的云服务API调用,主要体现在高昂的前期硬件投入和持续的专业运维成本上。

    3.1K10编辑于 2025-06-06
  • deepseek本地部署有什么用?解锁 DeepSeek 本地部署

    DeepSeek 作为一款备受瞩目的大模型工具,其本地化部署逐渐成为众多用户关注的焦点。今天,我们就来深入探讨 DeepSeek 本地部署的用途,为大家详细介绍一款助力本地部署的神器,快来看看吧。​ 一、为什么要进行 DeepSeek 本地部署DeepSeek 本地部署保障数据隐私,适配敏感行业合规需求。降低网络依赖,无网络也能稳定运行,保障实时场景业务连续。 二、DS 本地部署大师 —— 本地部署的得力助手​①一键部署,轻松上手​DS 本地部署大师它内置了 DeepSeek - R1 全系列模型(1.5B/7B/14B/32B/70B),根据智能推荐并下载适合的模型版本 ②部署完成,进入体验​选择模型后等待下载,下载完成后,软件会自动安装完成。之后,点击【立即体验】进入智能界面体验DeepSeek 本地部署效果。​ DS 本地部署大师凭借其强大的功能和便捷的操作,为用户实现 DeepSeek 本地部署提供了一站式解决方案。

    2K10编辑于 2025-08-21
  • 来自专栏分享学习

    DeepSeek本地部署教程

    DeepSeek是一款强大的知识检索和问答工具,通过本地部署,用户可以更加便捷地进行知识检索和问答操作。本文将详细介绍如何在本地部署DeepSeek,以便用户能够充分利用其强大的功能。 环境要求 在本地部署DeepSeek之前,需要确保计算机满足以下环境要求: 操作系统:Linux(推荐)或Windows。 Python版本:Python 3.7及以上。 克隆DeepSeek代码 打开终端或命令行窗口,使用git命令克隆DeepSeek的GitHub仓库:git clone https://github.com/your-repository/DeepSeek.git 在DeepSeek项目目录下,运行以下命令创建虚拟环境:python3 -m venv deepseek-env(Linux)或deepseek-env\Scripts\activate(Windows (result) 使用与调试 使用DeepSeek 在成功部署并启动DeepSeek后,可以通过API服务器或直接在Python脚本中调用模型进行推理。

    1.5K10编辑于 2025-05-18
  • 来自专栏MUM笔记

    写作神器,markdown nice私有化部署

    具体开源的版本支持什么可以部署起来看下。开源地址:https://github.com/mdnice/markdown-nice 基本环境信息 这个开源的版本上一次更新都是2019年左右了。 笔者实验了20,18,16还有14的很多版本,都出现包依赖错误(本身也不是前端出生,所以没有去调原始的代码) 最终测试了,node 14.18.2 版本可以将git上master的这个分支代码部署起来。 整个环境的信息如下: 硬件:windows wsl2 操作系统:ubuntu 22.04 node版本:v14.18.2 npm版本:6.14.15 部署步骤 git上拉取代码 git clone https nginx部署 打包 前面通过npm install安装了所有依赖的包,接下来执行 npm run build 即可完成打包,打包完成之后,生成build目录,目录下内容如下: nginx配置 将上一步中打包的所有文件

    1.6K10编辑于 2024-11-12
  • 大模型私有化部署工具比较

    LocalAILocalAI是一种专门为本地部署设计的工具,它支持多种AI模型和硬件环境。主要优点包括:灵活性:LocalAI支持多种操作系统和硬件,使得用户可以在不同的环境中部署模型。 xInferencexInference是国内推出的另一种强大的本地部署工具,它提供了优化的模型推理功能,能够在多种设备上高效运行。 易用性:提供了简洁的API,使得开发者能够轻松集成和部署模型。xInference的缺点包括:兼容性问题:在一些特定的硬件上可能会遇到兼容性问题。 背景:部署了rerank模型,使用vllm推理引擎。 如果请求量过大,会导致gpu显存占用过大,xinf好像会重新调用大模型,但是之后不再继续使用gpu, 重新launch模型不管用。 OLLAMAOLLAMA是一个比较新的本地部署工具,它专注于提供高效的大模型本地管理解决方案。OLLAMA的主要优点是:模型管理:强大的模型管理功能,支持多版本控制和自动更新。

    2.1K10编辑于 2024-10-30
  • 来自专栏产品的技术小课

    产品经理|什么是私有化部署

    私有化部署一般指的是把第三方应用部署到自己的服务器上。私有化部署是saas产品常用的一种对外服务方式。 举个例子: 比如企业微信就有提供私有化部署服务。 为了防止聊天记录泄露,一般企业会采用私有化部署的方式, 通信双方发的消息会发送到自己的私有化服务,这样就可以把聊天信息落入到自己的数据库。 再比如现在的低码平台,也会提供私有化部署, 这里使用私有化部署一般是有个性化定制的场景,比如在访问低码页面时,你想用自己的域名,你想用自己的登录、鉴权等等。 但是对于服务提供方而言,有部分是不希望客户做私有化部署的。 那么什么情况下会使用私有化部署呢?

    3.2K30编辑于 2022-05-17
  • 来自专栏IT者

    gitlab限制网段访问(私有化部署

    环境 操作系统:CentOS 7 gitlab版本:14.x 要求 gitlab在私有化部署之后,设置了域名访问,默认只要有网络都可以访问,要求只能部分网络IP或者指定的IP网段才能访问 操作 gitlab 私有化部署好之后,默认是自带有Nginx,就通过设置Nginx的相关配置来实现,注意这里不能直接修改gitlab给我们安装的Nginx.conf之类的配置文件,需要修改/etc/gitlab/gitlab.rb 另外提醒 如果你的gitlab有使用到gitlab自带的CI/DI自动部署,请务必把装有gitlab的服务器本身IP添加允许访问,不然你会发现,咦,Runner怎么离线了,哈哈哈

    4.1K10编辑于 2022-10-31
  • 来自专栏运维小路

    DeepSeek-离线部署

    前面2个小节我们虽然介绍了在Win电脑和Linux服务器里面部署DeepSeek,他们都有安装模型的操作,而且这个操作会很费时间,那有没有一个方法可以提前下载好文件,然后只需要一个启动命令就可以实现呢? 如果要提供自动部署脚本,我们首先就是要分析我们的安装过程都做了什么,然后根据部署过程的动作才能把部署内容封装到一起。 3.文件组合打包 前面两个步骤我们搞清楚了这个DeepSeek的逻辑,我们把ollama和模型的文件放置到一起,然后进行打包压缩(该文件压缩后大概3.1G)。

    1.9K10编辑于 2025-02-21
  • deepseek本地部署简要教程

    安装ollama访问:https://ollama.com/安装AI模型访问模型列表:https://ollama.com/search安装deepseek-r1命令行运行:ollama run deepseek-r1

    89420编辑于 2025-02-13
领券