- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据科学与人工智能
【大规模机器学习】大规模机器学习流程的构建与部署
大规模机器学习流程的构建与部署 现在有许多的机器学习算法实现是可以扩展到大数据集上的（其中包括矩阵分解、SVM、逻辑回归、LASSO 等等）。 在Strata+Hadoop World New York的报告上，伯克利教授Ben Recht描述了他们新的伯克利 AMPLab项目，该项目旨在提供一种构建和管理大规模机器学习的通用流程。 实际上，我们需要在产品实际部署的时候提供工具来保证流程能正常工作，同时可以期望提供一些测量误差的方法。 目前，AMPLab前期的一些结果还是很令人振奋的，研究者们已经构建了大规模的机器学习系统，并且在视觉，语音以及文本处理方面取得了与各自领域最好成绩都不相上下的结果。
922100发布于 2018-02-27 - 来自专栏FreeBuf
美国公司大规模部署员工监视工具
从按键和屏幕截图到录音和GPS定位追踪，据估计，到2025年，每10家美国公司中至少有7家会对员工进行数字监控，以观察衡量员工的生产力。 这项研究是由位于英国的在线简历制作商StandoutCV所建立的，他将2023年大流行后的监控趋势与该公司在2021年收集的相同统计数据进行了比较。据数据显示：每三个雇主中就有一个会使用追踪员工确切位置的工具，这个比例在过去两年中增加了44.85%。 通过研究这两年来近50种最受欢迎的监控工具，他们发现相比2021年，如今近25%的boss软件已经具有更多入侵性功能。
46230编辑于 2023-05-19 - 来自专栏深度学习与python
为什么 DeepSeek 大规模部署很便宜，本地很贵
作者 | Sean Goedecke 译者 | 王强 策划 | Tina 为什么 DeepSeek-V3 据说在大规模服务时快速且便宜，但本地运行时却太慢且昂贵？
19700编辑于 2025-07-08 - 来自专栏云计算D1net
六个超大规模Hadoop部署案例
这次我们介绍eBay、Orbitz Worldwide、Facebook、Infchimps等大型网络公司实际部署Hadoop的案例，希望从这些真实的案例当中，能给大家一点启示。 中关村在线的这篇文章从六个超大规模Hadoop部署的实际案例出发，为我们详细介绍了企业或组织在实际部署Hadoop过程中是如何做的。 虽然eBay只是几年前才开始向生产型Hadoop环境转移，但它却是早在2007年就率先开始试用Hadoop的大规模互联网公司之一，当时它使用一个小型集群来处理机器学习和搜索相关性方面的问题。 该集群只用了不到三个月就建成了，开始高速处理预测模型、解决实时问题；后来不断扩大规模，以满足其他要求。 Madan表示，该集群现由eBay的许多小组使用，既用于日常生产作业，又用于一次性作业。
1.1K70发布于 2018-03-16 - 来自专栏Debian中国
Facebook 是如何进行大规模代码部署的
Facebook 高速发展的 2007 年到 2016 年，他们一天部署 3 次代码，cherry-pick 集齐成千上万个 commit；现在使用类似持续交付的方法，每个 commit 能自动部署到 下一步涉及到“ canary deployment ”（金丝雀部署），只推送至生产环境的 2% 。依靠连续的监测来检测问题。如果一切顺利，这些变更将 100% 部署到生产环境中。 除此之外，Gatekeeper 还分离出了部署和发布。这种分离带来了挑战，包括维护向下兼容性。 由于工具和部署选项的性质，移动持续部署面临着一些特定的挑战。 Web 部署则更为容易，因为 Facebook 拥有完整的技术栈和工具。 Facebook 的准连续部署系统具备这几个优点：没有推送热补丁的手工开销，对分布式工程师团队有更好的支持，为工程师提供了更快的反馈循环。
94720发布于 2018-12-20 - 来自专栏ATYUN订阅号
Facebook开源强化学习平台Horizon，可大规模部署AI
Horizon是为大规模部署AI而制定的，因此公司或研究团队可以执行可能需要数千个CPU或GPU进行数十亿观测的操作。 但是，由于它使用Apache Spark进行预处理而PyTorch用于训练AI系统，因此Horizon也可以部署在一台计算机上。 Facebook对于训练或部署AI的开源工具并不陌生。流行的深度学习框架PyTorch 1.0版于10月发布，集成了Google Cloud，AWS和Azure Machine Learning。 我们可以反事实地看待这些替代行动，然后说’也许这种替代行动在这种情况下更好，’所以使用这个我们可以离线训练，而不是像很多强化学习那样在网上训练，模型总是在变化，我们有一个阶段，评估模型，对模型的性能有信心，然后工程师可以选择是否部署该模型
1K10发布于 2018-12-11 - 来自专栏小徐学爬虫
大规模网络爬虫系统架构设计 - 云计算和Docker部署
在大规模网络爬虫系统中，合理的架构设计和高效的部署方式是确保系统稳定性和可扩展性的关键。 本文将介绍如何利用云计算和Docker技术进行大规模网络爬虫系统的架构设计和部署，帮助你构建高效、可靠的爬虫系统。 2、云计算架构设计 云计算提供了强大的计算和存储资源，适合大规模网络爬虫系统的部署。以下是一个基于云计算的架构设计示例： 任务调度中心： 使用云服务提供商的消息队列服务，作为任务调度中心。 通过使用云计算和Docker技术，可以实现大规模网络爬虫系统的高效架构设计和部署。这种架构能够提供可扩展性、高可用性和灵活性，为爬虫系统的运行和管理带来便利。 希望以上内容对你理解和应用大规模网络爬虫系统架构设计和云计算与Docker部署有所帮助！如果你有任何问题或需要进一步的帮助，请随时提问。祝你的爬虫系统设计和部署成功！
81130编辑于 2023-08-28 - 来自专栏量子位
Facebook开源新NLP框架：简化部署流程，大规模应用也OK
铜灵 编译整理 量子位 出品 | 公众号 QbitAI 今天，Facebook开源了一个基于PyTorch的深度学习库PyText，想容易地构建和部署NLP系统。 Facebook在博客中介绍说，新框架具有多个特性，不仅能简化流程更快部署，还能调取众多预构建模型和程序方便大规模部署。 ? 核心功能 构建PyText的初衷，是想解决当前NLP任务中时间紧且需要大规模部署之间的矛盾。研究人员的大致思路分两步。 一是通过为模型组件提供简单可扩展的接口，二是导出模型用于推理。
71210发布于 2018-12-27 - 来自专栏媒矿工厂
大规模分布式ST 2110部署的案例研究
本文来自The Broadcast Knowledge，主题是大规模分布式ST 2110部署的案例研究。
1.4K20发布于 2020-08-04 - 来自专栏人工智能快报
世界各地机场开始大规模部署面部识别系统
《简报（BRIEF）》杂志发布消息，称世界各地机场开始大规模部署面部识别系统。 随着政府部门多年来一直在寻求使用生物识别技术进行边境检查，面部识别在世界各地越来越多的机场中成为了主要的旅客审查手段。
80561发布于 2018-03-15 YashanDB数据库大规模部署的风险与应对策略
大规模数据库部署面临诸多挑战，包括性能瓶颈、数据一致性、可用性及扩展性等关键问题。YashanDB作为一款支持多种部署形态的数据库产品，其大规模部署过程中需要平衡复杂的系统架构和运行效率。 本文将基于YashanDB的体系架构与技术特性，深入分析大规模部署面临的主要风险，并提出相应的技术应对策略，以指导相关运维及研发工程师有效保障系统稳定和高性能运行。 大规模部署过程中，架构复杂性增加带来如下风险：资源分配与调度冲突：分布式与共享集群部署中，涉及多节点间的数据同步、缓存协作及锁管理，不当设计可能导致节点争用和资源饱和，降低系统并发能力。 事务与并发控制风险大规模部署对事务隔离及锁机制的挑战主要体现为：写写冲突频发：写一致性需求导致大量事务等待锁释放，严重时产生死锁，影响系统吞吐。 结论YashanDB大规模部署涉及复杂的系统架构、存储管理、并发控制及安全管控。通过理解其核心存储与计算引擎设计、主备复制、共享集群机制及安全管理框架，能有效识别部署风险。
13410编辑于 2025-10-21- 来自专栏ATYUN订阅号
InVia Robotics筹集2000万美元以大规模部署机器人平台
在此之前，InVia筹集了大约900万美元，另外还有2000万美元的资金，它表示将重新投入大规模部署机器人平台，计划到2018年底将员工人数增加一倍。
43540发布于 2018-08-16 - 来自专栏AI研习社
GPT-2的大规模部署：AI Dungeon 2 如何支撑百万级用户
在不中断的情况下按比例部署 GPT-2 在 PCCL 关闭 AI Dungeon 2 的 12 小时内，我们的社区已经通过 torrent 分享模型的点对点解决方案，这意味着游戏是备份的，没有下载收费。 要构建一个完整的 AI Dungeon 2 应用程序，我们的模型需要部署为后端 web 服务器。你可以将它当成是一个“预测API”，我们的应用程序可以通过用户的输入进行查询，从而生成接下来的故事。 在高层上，Cortex 将会： 将模型打包在 API 中并将其容器化 将模型部署到云中，将 API 公开为 HTTP 端点 自动缩放实例以处理流量波动 我们没有使用 Flask、Docker、Kubernetes 经过一些修复，我们能够使我们的 Cortex 部署比以前 Colab 的设置成本效益高出大约 90%。在两周内，我们的服务器数量达到了 715 台的峰值，我们支持了超过 10 万名玩家。
1.8K30发布于 2020-02-24 - 来自专栏深度学习与python
百倍启动加速，大规模Agent部署和运维的捷径是什么？
然而，在生产环境中大规模落地 Agent，却面临开发复杂、运维困难、成本高等挑战。这些问题应该如何解决？企业内部大规模部署和运维 Agent 是否有捷径可走？ 针对这些问题，InfoQ 近日对话了阿里云云原生应用平台 Serverless 计算负责人杨皓然（花名：不瞋），围绕大规模 Agent 部署和运维的最佳实践等主题展开讨论。 以上这些，正是我们在头部企业中看到的，在大规模落地 Agent 应用或平台化部署过程中，运行时层面最典型的技术挑战。 因为如果一个 Agent 完全是“黑盒”的，企业自然不会放心将其直接部署到生产环境中。 智谱在这一过程中也进行了大量的方案对比与选型，最终发现我们的解决方案能可靠的支撑大规模业务体量，并在性能、成本上取得很好的平衡，因此成为他们的最优选择。
25710编辑于 2025-11-26 - 来自专栏ShowMeAI研究中心
机器学习工业部署最佳实践！10分钟上手机器学习部署与大规模扩展 ⛵
图片如何快速部署机器学习模型？本文是机器学习工业部署的 best practice（最佳实践)！ 在 Kubernetes 上大规模部署和运行 ML 服务在本篇内容中，ShowMeAI就带大家来详细了解一下 BentoML 和模型部署相关的知识和实践方法。 BentoML 的“便当”的妙处在于，一旦完成构建，我们可以通过两种方式部署它：① 将 Docker 镜像推送和部署到云端② 通过使用由 BentoML 团队开发的 bentoctl 来部署图片使用 bentoctl 有助于将构建的 bento 部署为云上的生产就绪 API 端点。 bentoctl init通过运行构建部署所需的镜像 bentoctl build通过运行 部署到 Lambda bentoctl apply -f deployment_config.yaml部署完成后
2.5K62编辑于 2022-12-01 LoRaWAN大规模部署的隐形瓶颈：空中资源挤兑与三大优化策略
然而在实际的大规模部署过程中，许多项目在运行一段时间后会遇到一个看似难以解释的问题：网络信号良好，但设备通信却逐渐变得不稳定。 本文将从 LoRaWAN 网络通信机制出发，分析空中资源挤兑产生的原因，并结合实际项目经验，总结三种经过验证的优化策略，帮助提升 LoRaWAN 网络在大规模部署中的稳定性和效率。 但在大规模网络中，如果大量设备都使用 Confirmed 模式，就会导致下行信道长期被 ACK 占用。 五、优化策略带来的实际效果通过合理优化 LoRaWAN 网络的通信策略，可以显著提升大规模网络的整体性能。 六、结语LoRaWAN 网络在大规模部署时，空中资源挤兑是一个容易被忽视但影响极大的问题。其本质原因在于 LoRaWAN 网络上下行能力的不对称。
10710编辑于 2026-03-11- 来自专栏摸鱼网工
大规模路由概述
核心层： 路由协议路由自动冗余 汇聚层： 路由协议路由自动冗余 支持区域划分，隔离故障区域 广域网接入： BGP 浮动静态路由备份
49020编辑于 2022-11-22 - 来自专栏ATYUN订阅号
AMAX推出AI训练和推理平台DL-E48A，支持超大规模部署
DL-E48A是AI开发以及大型到超大规模部署的首选平台，可作为服务器单元购买，也可设计为rackscale解决方案和联网集群。
59640发布于 2018-07-27 - 来自专栏ThinkLink
LoRaWAN大规模部署的隐形瓶颈：空中资源挤兑与三大优化策略
然而，在实际的大规模部署中，很多项目在运行一段时间后都会遇到一个隐形问题：网络明明信号很好，但设备通信却变得越来越不稳定。 但在大规模部署中，如果大量设备都使用Confirmed模式，就会出现：下行信道长期被ACK占满。 三大优化策略带来的效果优化策略核心目标主要措施效果入网机制优化减少Join操作按需入网避免入网风暴确认机制优化减少下行占用优先非确认包提升系统吞吐ADR优化提高通信效率引入本地ADR缩短空中时间通过这些优化，LoRaWAN网络在大规模部署时可以获得 在实际项目中，如果结合成熟的LoRaWAN解决方案（如网关、DTU、传感器以及网络服务器平台），还可以进一步降低部署复杂度，让大规模LoRaWAN网络更加稳定可靠。
8100编辑于 2026-03-05 - 来自专栏编程教程
大规模电商价格监控系统的隧道代理部署：技术实践与避坑指南
本文将拆解这项技术的核心逻辑，用真实案例说明如何避开部署陷阱。 一、为什么价格监控必须用隧道代理？ 洋葱路由结构：数据经过至少3层代理节点转发，某电商平台风控部门检测发现，使用隧道代理的请求，真实IP溯源成功率不足3% 量子安全预研：部分服务商已试点后量子密码算法（PQC），可抵御未来量子计算机的攻击 二、部署实战 万并发请求时，自动分散至327个节点，单节点压力控制在QPS 300以内 预测性IP切换：根据目标网站封禁周期，提前2分钟更换IP，某金融监控项目使反封锁成功率提升至92% 边缘计算整合：在CDN边缘节点部署轻量级代理 后量子密码算法（PQC）：可抵御Shor算法攻击，确保未来20年安全性 全同态加密整合：某医疗平台实现密文状态下的代理传输，使跨机构数据查询效率提升5倍 4.3 5G MEC深度融合 某运营商试点显示： 边缘节点部署 ：在基站侧部署轻量级代理，使工业物联网设备协议转换延迟压缩至2ms以内 超低时延网络：结合MEC切片技术，实现<10ms的端到端延迟 大规模设备接入：单节点支持10万+设备连接，满足智慧城市需求 五、部署红线
36310编辑于 2025-08-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号