294 条“大模型推理云服务” 相关内容
- Redux介绍 | Introduction动机（Motivation）
动机（Motivation）
此状态可以包括服务器响应和缓存数据，以及本地创建的尚未保存到服务器的数据。UI状态的复杂性也在增加，因为我们需要管理活动路线，选定标签，旋钮，分页控件等。 管理这个不断变化的状态是困难的。
- Docker机器 | Machine机器概念和帮助 | Machine concepts and help
机器概念和帮助 | Machine concepts and help
机器概念与寻求帮助 DockerMachine允许您在各种环境中提供Docker机器，包括驻留在您的本地系统、云提供商或裸金属服务器上的虚拟机(%28物理计算机%29)。
- TensorFlow扩展 | ExtendTensorFlow Architecture（TensorFlow架构）
TensorFlow Architecture（TensorFlow架构）
TensorFlow架构 我们为大规模分布式训练和推理设计了TensorFlow，但它也足够灵活，可以支持新机器学习模型和系统级优化的实验。 本文档描述了使这种规模和灵活性相结合的系统架构。
- Docker机器 | Machine提供数字海洋 | Provision Digital Ocean Droplets (Machine)
提供数字海洋 | Provision Digital Ocean Droplets (Machine)
- TensorFlow指南 | GuideSaving and Restoring（模型存储和加载）
Saving and Restoring（模型存储和加载）
将您的模型导出为SavedModel格式。 从本地服务器提供模型并请求预测。 准备服务于输入 在训练期间，从input_fn()摄取数据并准备好供模型使用。
- Docker引擎 | EngineSwarm模式关键概念（引擎） | Swarm mode key concepts (Engine)
Swarm模式关键概念（引擎） | Swarm mode key concepts (Engine)
您可以在单台物理计算机或云服务器上运行一个或多个节点，但生产群部署通常包括分布在多台物理机和云计算机上的Docker节点。 要将您的应用程序部署到群集，您需要向管理器节点提交服务定义。
- Docker机器 | Machine在云中配置主机 | Provision hosts in the cloud (Machine)
在云中配置主机 | Provision hosts in the cloud (Machine)
使用Docker机器在云提供商上提供主机 试用DockerCloud！我们建议使用DockerCloud作为在您的云提供商上运行Docker的最新方式。
- TensorFlow表现 | PerformanceHow to Quantize Neural Networks with TensorFlow（如何量化神经网络的张力?）
How to Quantize Neural Networks with TensorFlow（如何量化神经网络的张力?）
现在，我们实际上有很多模型被部署在商业应用程序中。培训的计算需求随着研究人员数量的增加而增加，但推断所需的周期与用户成比例地增加。这意味着纯粹的推理效率已经成为许多团队的热门话题。
- Docker开始 | Get Started 第6部分：部署您的应用程序 | Part 6: Deploy your app
第6部分：部署您的应用程序 | Part 6: Deploy your app
- TensorFlow指南 | GuideEstimators（估计量）
Estimators（估计量）
- TensorFlow教程 | TutorialsConvolutional Neural Networks（卷积神经网络）
Convolutional Neural Networks（卷积神经网络）
它由1,068,298个可学习参数组成，需要大约19.5M乘加操作来计算单个图像的推理。 代码组织 本教程的代码位于models/tutorials/image/cifar10/。
- Docker引擎 | Engine安装Docker（引擎） | Install Docker (Engine)
安装Docker（引擎） | Install Docker (Engine)
- Docker机器 | MachineVMware vCloud Air (Machine)
VMware vCloud Air (Machine)
VMwarevCloudAir 在vCloudAir订阅服务上创建计算机。您需要现有vCloudAirVPC或专用云订购中的帐户。
- Docker引擎: 管理员指南 | Engine: Admin GuideGoogle Cloud日志记录驱动程序（引擎） | Google Cloud logging driver (Engine)
Google Cloud日志记录驱动程序（引擎） | Google Cloud logging driver (Engine)
- Docker引擎: 扩展 | Engine: Extend使用插件扩展引擎 | Extending Engine with plugins
使用插件扩展引擎 | Extending Engine with plugins
网络插件 插入描述Contiv网络一个开源网络插件，为多租户微服务部署提供基础架构和安全策略，同时为非容器工作负载提供物理网络集成。
- HTTP指南 | GuidesConnection management in HTTP 1.x
Connection management in HTTP 1.x
HTTP主要依赖于TCP的传输协议，在客户端和服务器之间提供连接。在初期，HTTP使用单一模型来处理这种连接。这些连接是短暂的：每次请求需要发送时创建一个新连接，并在收到答复后关闭。
- Docker开始 | Get Started 第3部分：服务 | Part 3: Services
第3部分：服务 | Part 3: Services
要做到这一点，我们必须在分布式应用程序的层次结构中提升一级：服务... 堆叠 服务你在这里 容器（第2部分涵盖） 关于服务 在分布式应用程序中，应用程序的不同部分被称为“服务”。
- TensorFlow表现 | PerformanceHigh-Performance Models（高性能的模型）
High-Performance Models（高性能的模型）
构建高性能模型的最佳实践 以下收集的是一些可以提高性能并增加模型灵活性的其他最佳实践。 与NHWC和NCHW一起构建模型 CNN使用的大多数TensorFlow操作都支持NHWC和NCHW数据格式。
- TensorFlow表现 | PerformancePerformance Guide（性能指南）
Performance Guide（性能指南）
最简单的方法之一是在输入管道之后将模型简化为单个操作（平凡模型）并每秒测量示例。如果整个模型和平凡模型的每秒示例差异最小，则输入管线可能是瓶颈。
腾讯云开发者
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号