- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据技术博文
Kylin云端跨集群迁移实践
“ 本文介绍在云端kylin数据迁移的实现方案以及在迁移过程中的遇到哪些问题,并给出了问题解决方案.本次迁移中涉及到的hbase cube表1600+,model数量80+,project 10+” 01 — 目录 迁移前准备 Kylin迁移概述与方案制定 不同方案的实现与问题 迁移前的前置依赖 迁移过程中的问题以及解决方法 迁移完成后的checklist都有哪些? 元数据迁移完成之后,接下来需要迁移kylin的cube 预计算的数据. org.apache.hadoop.hbase.coprocessor.MultiRowMutationEndpoint] org.apache.kylin.storage.hbase.cube.v2. Caused by: org.apache.hadoop.hbase.TableExistsException: KYLIN_XXXX 解决方法: 1、list查看hbase中是否有相应表,有则删除 2、
1.3K30编辑于 2022-04-18 - 来自专栏云计算D1net
企业如何无缝迁移到云端
人才管理解决方案提供商Cornerstone OnDemand公司首席顾问Arnab Banerjee解释了企业的业务在迁移到云端时需要考虑的多个流程，其中包括如何选择服务提供商和实施，以及如何为这种变更做好准备 企业一旦决定将其业务迁移到云端，就应该将其背后的决策和道理清楚地传达给所有利益相关者。而解释收益将会推动创新，增加灵活性，并控制成本。此外，还要为其组织的工作方式的变化和强制性改变做好准备。 事实上，选择云计算提供商只是迁移到云端的一小部分流程，选择正确的变更管理合作伙伴更为关键。 所有这些都在后台进行，企业首席信息官能否执行“升级和转移”流程，以及在帮助他们的公司迁移到云端时应该考虑什么? 最后，如果企业正在考虑将业务迁移到云中，请在准备建立时为增加资源和其他重复成本做好准备。虽然迁移到云端将最终帮助实现自动化，但企业需要首先完成工作才能看到结果。
1.1K00发布于 2018-07-31 云迁移服务：将存储数据迁移至云端全面指南
随着数字化转型的加速推进，越来越多的企业选择将本地存储数据迁移至云端，以享受云计算带来的弹性扩展、成本优化和运维简化等优势。腾讯云作为国内领先的云服务提供商，提供了完整的存储迁移解决方案。 ，使用DTS迁移10亿条MySQL数据，时间从10小时缩短至2小时，业务中断仅3分42秒。 GooseFS加速CFS Turbo并行文件存储实现3TB CheckPoint文件10秒内写入数据湖三级加速体系（GPU内存→本地盘→全闪存储）缩短IO路径数据万象CI处理内容审核与预处理整体数据清洗效率提升2- 未来，随着存储技术的不断发展，我们预期以下趋势：智能化迁移：AI技术将用于自动优化迁移参数，预测迁移时间，识别潜在问题无感知迁移：更先进的增量同步技术将实现真正的业务零中断迁移多云迁移：工具将更好地支持在多云环境间的自由迁移 企业应结合自身业务特点，选择最适合的迁移路径，充分利用腾讯云提供的各种工具和服务，确保数据安全、高效地完成向云端的迁移，最终实现数字化转型的目标。
1.2K10编辑于 2025-07-09- 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。 两手准备 这么大的数据量，不是说迁移就迁移。 这个迁移到底有没有坑，谁也不敢拍着胸脯保证。 确保全覆盖场景；其次，对各类数据和任务，抽样进行尝试迁移验证，包括元数据、数据、作业等相关联的完整测试校验，确保无误；最后，结合业务应用特征，配置策略，利用低峰期将历史数据平缓迁移，再配置双写策略，平滑迁移实时数据和任务 除了业务使用部门的认可，搜狐畅游大数据团队自身也切实感受到了作业任务速度与运维效率的提升： 每日的 BI 离线统计分析从整体的2小时减少到20分钟以内，任务执行效率提升6倍。 目前，借助于云端大数据基础设施，快速实现基于数据驱动的业务创新和运营创新已成为新一代互联网企业的业界共识和主流趋势。
2K30发布于 2021-09-18 - 来自专栏养虾记
OpenClaw 云端迁移至本地部署指南
--version2.完整迁移（推荐）2.1云端—停止网关并打包⚠️停止网关可以防止迁移过程中数据被写入，保证数据一致性。 展开代码语言：BashAI代码解释#登录云端服务器#1.停止OpenClaw网关openclawgatewaystop#2.确认进程已停止openclawstatus|grepGateway#预期输出： 或names）clawhubinstall<skill-name>#或者在workspace/skills/目录手动恢复5.云端善后迁移完成后，建议在云端执行以下操作：5.1停止云端网关（防止混淆）展开代码语言 rm-rf~/.openclaw/#释放服务器（如果是按量付费的实例可以关机/删除）6.迁移后验证6.1基本验证展开代码语言：BashAI代码解释#1.确认版本openclaw--version#2.检查网关状态 Q2：Telegram/WhatsApp登录态丢失？A：认证token保存在identity/目录，完整迁移时不会丢失。如果使用部分迁移方案，确保包含identity/目录。
2K610编辑于 2026-03-27 - 来自专栏云计算D1net
如何从传统的IT迁移到云端
从架构师到开发人员，从传统IT到云端的镀金工作都有一条路。 传统的IT技术人员(例如企业架构师，开发人员和网络工程师)都投入到云计算事业，这不仅可以提供就业保障，而且收入颇丰。 企业架构师：通往云的道路 比如，企业架构师在技术和平台方面的作用非常普遍，但预计迁移到云端的公司正在寻找更具体的技能。 但是看下职业生涯蓝图。 然而，迁移到公共云的企业通常会选择更便宜和更现代的数据库技术，因此对于甲骨文数据库管理员来说，学习如何管理其他数据库是有好处的。 例如，亚马逊的RDS关系数据库如今是企业中受欢迎的云选择。 然而，在云端，深入了解特定的公共云是要付出代价的，因为你需要了解并能够创建云原生应用程序。 测试与验收工程师：通往云的道路 测试与验收工程师没有一个通往云端的坦途。所以，如果你想保持竞争力，你要学习和重学很多东西。云的最佳映射是了解与云相关的功能。
1.8K80发布于 2018-03-28 云迁移服务：将数据库迁移至云端全面指南
2. 数据库迁移服务DTS（推荐） 核心能力： 多线程加速：支持32线程并发，10亿数据迁移从10小时缩短至2小时。 GTID无缝复制：自动定位Binlog位置，确保增量数据零丢失。 2. 异构数据库迁移DBbridge 适用场景：Oracle → TDSQL、SQL Server → TBase等异构迁移。 性能指标：单表拉取速度15MB/s，4并发峰值60MB/s。 2. 大型企业异构迁移 挑战：Oracle存储过程迁移至TDSQL。 方案：DBbridge语法转换 + 分布式架构适配。 效果：单表拉取峰值60MB/s，兼容性达95%。 技术演进方向 智能化迁移：AI预测最优迁移窗口与参数组合。 多云无缝迁移：避免厂商锁定，支持AWS RDS→腾讯云TDSQL一键同步。 2.
91300编辑于 2025-07-12- 来自专栏云计算D1net
如何让数据迁移到云端更加容易
限制企业的业务向云端转移的原因有很多，但企业加快企业云采用可能更容易。以下仔细看看如何能变得更容易。 查看数据的冷热 企业采用云计算通常会从数据档案开始，因为迁移不再使用的数据风险较低。 然后，他们必须确定哪些存储资源共同托管关键业务数据，并计划迁移周围活跃的应用程序。然后，IT团队必须在非工作时间内安排并执行到云端的迁移，以保护业务连续性。 这可能需要一定时间，因为数据通常通过缓慢的互联网迁移到云端。事实上，一些企业甚至运行sneakernets以确保数据可以快速安全地移动，而不会中断业务。 元数据引擎使这个过程简单得多。 数据可以在内部存储和一个或多个云端之间移动，而不会中断应用程序的访问，即使数据在运行中。 重要的是，元数据引擎可以帮助IT比传统的归档解决方案更智能地将数据归档到云端。 其次，只有当移动不影响其他正在运行的应用程序时，才会将数据迁移到云端。这可以保护业务连续性，同时允许存档迁移全天候发生，无需IT干预。
1.2K60发布于 2018-03-27 - 来自专栏云计算D1net
迁移到云端的五个关键优势
越来越多的企业都希望利用云计算，并接受迁移到基于云计算的数据仓库所带来的好处。那么到底有什么好处呢? 无缝简洁 迁移到云端的最令人信服的原因之一是它提供的简单性。 而快速升级硬件并安全存储无限数据量的能力使云端成为大数据分析的理想之地。 经济高效的可扩展性 为云计算设计的数据仓库可以适应实时使用情况，灵活地将组织的确切使用模式与“正确”的容量相匹配。 幸运的是，迁移到基于云计算的数据仓库可以提供安全性和监管，而不会耗费更多的人力资源。尽管存在最初的担忧，但人们普遍认为基于云计算的服务几乎肯定比定制解决方案更安全。 数据使用者可以通过云端简单地访问数据，并立即享受访问带来的好处。 因此，出现了新的商业模式和市场机会。那些通过云计算实现数据共享生态系统的企业将比竞争对手更具优势。 毫不奇怪，越来越多的企业(包括初创企业和跨国公司)正在向云端迈进。根据云计算产业论坛(CIF)的研究，目前英国的整体云采用率为88%。而随着大数据时代的来临，这种发展趋势仍将持续。
1.1K20发布于 2019-06-15 - 来自专栏媒矿工厂
使用OpenSIPS 3.0来向云端迁移
他介绍了RTC行业的趋势，包括向云端迁移以节省基础设施的花费，快速的开发和测试，全自动化的部署以及提供更加严格的协议。 2．自动缩放的能力。只需要指定上下阈值，软件就会进行自动增加或减少资源的使用。 3．可持续性的内存。可以使重新启动、重新读取数据库文件变得快速。
1.2K40发布于 2020-03-05 - 来自专栏云计算D1net
成功迁移到云端需要采取的步骤
本文介绍了企业在云部署过程中面临的挑战，以及顺畅进行云迁移的方法和步骤。 调查表明，在新冠疫情持续蔓延期间，企业云计算的采用率急剧上升，而现在成为一种规则而不是例外。 与其相反，企业应该将云迁移视为一个考虑更好架构的机会，以节省成本、提高性能，并为最终用户带来更好的体验。 02 关注基础设施而不是用户需求 当数据领导者决定将业务迁移到云端时，往往更关注各种云服务的特性和功能，而没有考虑数据科学家和数据工程师的工作流程。 企业领导者应该与他们的数据工程师和数据科学团队合作，确定哪些数据子集对他们可以在云中访问、迁移数据，并让他们亲身体验云服务的好处。 更顺畅的云迁移 尽管面临重重障碍，但数据领导者可以采取许多措施骤来确保他们的云计算部署尽可能顺利。
66420编辑于 2022-09-02 - 来自专栏云计算D1net
将数据迁移到云端的最佳实践
并不是每个组织都有足够的专用带宽来传输数PB的数据，而不会导致核心业务的性能下降，也并不具有足够的备用硬件迁移到云端。 (2)将设备运送到云端环境。运送目的地可能是目标云或云数据中心本身附近的协同设施。无论目标是公共云还是混合云/多云设置，还有两个考虑因素将平滑迁移和容易迁移区分开来。 (2)如果第二个镜像是“损坏”的，需要将设备运送到云端环境。 (3)然后在本地复制和远程副本之间重新连接镜像，并重新建立数据同步。 (4)数据的在线副本现在在云中，服务器可以故障转移到云端。 例如，美国的一个机构有2PB的内部部署数据，它希望部署在私有云中。 新的数据迁移选项使IT团队能够以最小化风险，成本和麻烦的方式“分解”云端，并最大程度地提高敏捷性。
1.9K90发布于 2018-03-28 - 来自专栏云计算D1net
迁移到云端？SD-WAN很重要!
人们在过去的几年中看到了数据中心战略发生了重大转变，很多企业的IT组织正在将应用程序和工作负载转移到云端，无论是私有云还是公共云。 最近发表的一篇题为“亚马逊网络服务如何吸引银行业进入云端”的文章报道称，一些企业已经完全将其所有应用程序和IT工作负载迁移到公共云基础设施。 迁移到云端和采用SD-WAN之间是否存在直接关联? 由于云计算可以使业务更快地发展，因此自上而下的业务意图是驱动因素的SD-WAN架构对于确保成功至关重要，尤其是当分支机构分布在全球各地时。 EdgeConnect可以提供： (1)从分支到云端的一致部署，将SD-WAN的范围扩展到虚拟私有云环境。 (2)多云灵活性，可以更轻松地跨多个云计算提供商启动和分配资源。 (3)通过自信地将内部IT资源迁移到领先的公共云平台的任意组合，了解其云托管实例将得到EdgeConnect的完全支持，从而实现投资保护。
82420发布于 2019-06-15 - 来自专栏云计算D1net
成功迁移到云端的6个策略
如今越来越多组织将在云端开展业务，那么如何迁移到云端？虽然条条大路通罗马，但有些道路更加复杂和曲折。本文分享了组织成功进入云端的6个策略。 选择迁移策略很大程度上取决于组织希望实现的目标。 基本上将其整个数据中心运营的业务迁移到云端。 重新托管可能是一个有吸引力的选择。组织可以相对快速地完成工作，并且所涉及的风险很小。但是，这种策略有一个明显的缺点：运营成本会相对较高，尤其是从长期来看。 组织可以在云迁移结束之后再进行迁移，随后逐步淘汰或在以后替换。 总之，这可能是一个有用的策略，但要明智且谨慎地使用。提升和转移是快速进入云端的一种方式，但其代价是必须在之后开展更多的工作。 策略2：重建平台 也被称为提升修补和转移。组织仍然没有改变系统的功能，但是其基础平台得到了升级。 组织是否采用原有的数据库服务器，并且运行价格高昂的许可证?那么重构平台是一个很好的选择。 有时候，有些系统变得不再那么适合，当然可以保留一段时间，但迟早需要退役，因此将它们迁移到云端并不值得。 也许组织刚刚实施了一个大型系统升级项目。
1.3K10发布于 2021-01-05 - 来自专栏云计算D1net
如何将数据中心迁移到云端
诚然，把基础架构迁移到云平台上有很多优势，但如果没能咨询考虑，系统性能反而会受到妨碍，把基础架构从物理迁移到虚拟才能带来最好的资源利用率。 现在我们就可以向云实现迁移。架构向云的迁移也需要有步骤地进行。最初可以少迁移一些关键应用和相关架构。业务关键的架构应该以之前的成功步骤为基础。确保物理产品的环境已经卸下，但不要完全退役。 对于端对端网络访问，可以询问服务商关于安全P2P、V**连接的问题。对于第二层安全措施，有周期定制/服务器级防火墙和入侵检测。这些能为你的架构带来安全。 将数据中向云中迁移的过程现在变得越来越复杂。然而，迁移失败的主要原因要归咎于准备不充分。 为了避免使云迁移项目脱轨，最后再次提醒，在进行一个云计算迁移项目是，需要谨慎计划，为项目提供一个安全的、可衡量的方法，这样更有助于成功的项目结果。
1.6K90发布于 2018-03-15 - 来自专栏方丈的寺院
数据迁移(2) - 如何快速迁移
摘要 在上一篇中我们介绍了数据迁移的套路，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 迁移qps可控 迁移有可能对线上服务有影响，需要可动态调整qps 数据完整， 不丢失 不能遗漏数据，虽然事后我们有数据校验的过程，但是设计数据迁移方案时，需要尽可能的包装数据不丢失。 进度可控 迁移过程可中断，可重试。比如先迁移10分之一的数据，再继续来 二. 架构设计 数据迁移任务大致分为3个步骤，如下图所示 ? 可以可以将成功遍历完， 写入到任务队列的数据记录到某个存储，比如redis中，这样可以保证游标中断，或者服务重启后，可以从这个key中继续遍历，这样就实现了迁移的可中断 2.
4.8K10发布于 2020-05-20 - 来自专栏技术杂记
mysql 迁移2
Ss Sep25 2:17 /usr/sbin/keepalived -D root 73610 0.0 0.0 112500 2908 ? S Sep25 2:21 \_ /usr/sbin/keepalived -D root 73611 0.0 0.0 112484 2064 ?
2.4K40编辑于 2022-03-22 - 来自专栏技术杂记
mysql 迁移2
[mysql@slave02 bin]$ masterha_check_status --conf=/etc/app1.cnf app1 is stopped(2:NOT_RUNNING). [mysql@slave02 bin]$ ps faux | grep manager mysql 27192 0.0 0.0 103244 864 pts/2 S+ 00:23 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2:
60820编辑于 2022-03-21 - 来自专栏加米谷大数据
数据科学最终迁移到云端的5个原因
以下是数据科学家应该放弃笔记本电脑或本地服务器，并将其业务迁移到云端的五个充分的理由。 No 1：数据科学是一项团队运动 算法和机器学习模型构成了企业高级分析和机器学习难题的一部分。 No 2：大数据胜过智能算法 由于人们对人工智能和机器学习的兴趣激增，这是由于能够在大量结构化、非结构化和半结构化数据上快速处理和迭代(训练和调整机器学习模型)。 随着规模的扩大，数据通常需要在云端或大型内部部署集群中进行处理。将笔记本电脑添加到混合部署中会在整个流程中造成瓶颈，并导致延迟。 ? 在云端开始使用数据科学和机器学习的最快和最具成本效益的方法是使用基于云计算的数据科学和机器学习平台。
56730发布于 2019-04-19 - 来自专栏架构师之路
从IDC到云端架构迁移之路（GITC2016）
大家好，很高兴来到GITC2016的舞台，我是来自58到家的沈剑，今天我分享的主题是《58到家从IDC到云端架构迁移之路》。 上图是一个典型的互联网单机房系统架构： （1）上游是客户端，PC浏览器或者APP； （2）然后是站点接入层，为了面对高流量，保证架构的高可用，站点冗余了多份； （3）接下来是服务层，服务层又分为与业务相关的业务服务 所以，机房迁移的难点，是“平滑”迁移，整个过程不停服务，整体迁移方案的目标是： （1）可以分批迁移； （2）随时可以回滚； （3）平滑迁移，不停服务； “伪多机房架构-同连” 如果想要平滑的迁移机房，不停服务 在另一个机房部署好站点层、服务层、数据层，直接使用“全连”的单机房架构，我们会发现：会有非常多跨机房的连接 （1）站点层连接业务服务层，一半的请求跨机房 （2）业务服务层连接基础服务层，一半的请求跨机房 多机房架构的本意是容机房故障，这个架构当出现机房故障时，例如一个机房地震了，把入口处流量切到另一个机房就能容错，不过： （1）挂掉的是不包含数据库主库的从机房，迁移流量后直接容错； （2）挂掉的是包含数据库主库的主机房
1.9K50发布于 2018-03-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号