- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据猿
投稿 | 云端数据简报： 大数据向云端过渡
混合数据源的重心正在朝云端偏移。十五个月前，Tableau Online 客户的云端环境混合数据源连接与本地环境混合数据源连接一样多。 《云端数据简报》样本中的趋势揭示了三个发展动向，它们会影响分析和可视化未来将使用什么样的数据。 1. 数据重心将向云端偏移。 数据重力表示数据在服务和应用程序方面的影响。 如果您的数据存储在云端，您很可能希望自己的数据工具(从处理到分析)也能在云端运行。现在，数据重心集中在云端，集中程度在未来只会进一步增强。 构建数据生态系统的组织应将工作重心放在云端工作流程上，以确保系统已做好应对数据重力改变的准备。 2. 在向云端迁移的过程中，混合数据技术对企业经营至关重要。 如果只有部分数据可以迁移至云端，或者您想循序渐进地迁移数据，混合数据选项让您可以灵活应对云端托管和本地环境之间的矛盾。
5K50发布于 2018-04-19 - 来自专栏用户8715145的专栏
云端数据库是有哪些类型？云端数据库特点有哪些？
大型企业有用到云计算，自然就少不了要使用云端数据库，毕竟要储存的数据量还是很大的。特别是对于公司的机密文件以及数据，要做到百分百的安全。而且云端数据库不同的产品所要用到的数据库也不一样。 那么云端数据库是有哪些类型？云端数据库特点有哪些？ 云端数据库是有哪些类型 云端数据库一般是有两种类型，一种是关系型数据库，一种是非关系型数据库。 甚至还有数据库一体机以及企业分布式数据库等。 云端数据库特点有哪些 1、云端数据库创建实例的速度是很快的，只需要用户选择好所需要的类型后，几分钟就可以创建好数据库实例。 2、可自动切换数据库实例，当主库发生故障时，系统会自动修复或更换当前的主库。 3、云端数据库一般会自动备份功能，当出现灾害或是其它的异常而导致数据出现问题时，云端数据库会自动保存7天内的所有数据。 4、可随时保证云端数据库与源数据库的数据同步，同时还不会影响源数据库的使用与运行。 而且云端数据库还具有监控与通知的功能，当监控项达到我们所设置的监控策略阀值时，系统会自动发送邮件或是短信告知管理员。
5.6K20发布于 2021-10-20 本地程序访问云端数据库和云端服务调试方案
经常遇到一些场景，程序在本地是正常的，但是在云端生产上面不正常。这些往往是由于云端的第三方服务存在差异或者是云端的数据库数据存在差异，比如脏数据，数据的历史原因等等，在本地是无法调试的。 这时候要还原生产的现场，最直接的方法是连接生产端的数据库或者第三方服务进行调试。但是这里有一些问题，有些数据库或者第三方服务，是没有密码的，比如redis。 （二）添加ssh连接，并且设置端口映射策略如下图所示，是添加ssh连接的界面：上图是将云端内网172.16.0.3和172.16.0.4的mysql和redis数据库的端口，映射到本地来了。 比如数据库的3306映射到了本地13306,redis的6379映射到了16379端口上。 （三）、启动映射策略添加完ssh连接后，启动这个ssh映射策略即可，如下图：这样，你的本地程序，连接本地127.0.0.1下的13306和16379端口，就可以连接上云端的数据库了。
11210编辑于 2026-02-09- 来自专栏云计算D1net
在云端保存数据安全吗?
在数据传输到云端时可能会遇到问题，一旦达到云端，数据处于静止状态，以及迁移到云端之前的分段区域的数据都可能面临风险。数据是一种资产，将面临损坏、删除甚至存储介质退化的风险。 静默数据损坏 传输数据和存储数据的每一时刻，都会出现静默数据损坏的风险。如果突然变成零，那么文件不再有用。传播中可能会发生静默损坏，并将数据写入存储介质。 当然存储在云计算中的数据应该被存储或发送到云端，使得公司可以从任何损坏或意外删除中恢复，并且不会意外地删除云数据，并且还必须主动监视数据损坏或攻击。 如果一个平台作为传统云供应商的网关，它可以添加一些完整性数据功能，例如创建不能通过该接口覆盖的WORM或黄金副本的数据。客户应选择一个平台，可以在数据迁移到云端之前指定保留锁，访问权限和WORM副本。 通过从云端重新启动数据或为此目的在云中创建基础设施来验证数据可能是昂贵的，因此这样的系统应该构建在利用成本有效的计算组件(如来自AWS的LAMDA或来自Azure的Micro功能)中。
2.7K110发布于 2018-03-28 - 来自专栏PPV课数据科学社区
大数据的未来在云端
即席查询生成报表，对业务进行预测，充分利用大数据流中隐藏的价值。 你的数据都有哪些类型组成？关系型数据、非结构化数据还是音频视频？ 你如何存储不同类型的数据，然后让企业内部的人员可以访问这些数据？答案其实在云端，云存储技术基本上可以应对大数据的存储需求，你可以存储任何类型的数据然后轻松地进行扩展。 比如读密集型的数据一般需要关系型数据库；日志文件只使用HDFS存储就可以；需要大量写操作的数据则需要NoSQL数据库；而存在大量读写操作的系统就需要强大的大数据架构来作为支撑。 新一代的BI工具能够应对实时、图形化、大对象以及非结构化数据的处理，同时能够将这些数据存储在云端。每种数据可以托管在不同的云服务上，但都可以通过一个API进行访问。 千里之行始于足下，在构建大数据分析模型或者投入机器学习，招聘数据科学家之前，企业需要先解决好如何存储大数据，而答案就在云端。
1.1K60发布于 2018-04-18 - 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
腾讯云大数据产品架构师李少波说。 少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。 但随着游戏业务迁移上云和数据规模、维度的快速增长，数据分析任务日渐繁重和多态化，对数据处理的时效性和稳定性要求越来越高，搜狐畅游亟需通过更灵活稳定的大数据基础能力建设，提升大数据的分析、管理和运维，为游戏稳定流畅运行 搜狐畅游 BI 大数据中心技术负责人介绍说：“首先，搜狐畅游与腾讯云大数据技术团队一起紧密配合，详细梳理当前数据、任务、流程，按特征进行归类，针对不同情况（如历史数据、实时数据）进行针对性设计迁移方案， 确保全覆盖场景；其次，对各类数据和任务，抽样进行尝试迁移验证，包括元数据、数据、作业等相关联的完整测试校验，确保无误；最后，结合业务应用特征，配置策略，利用低峰期将历史数据平缓迁移，再配置双写策略，平滑迁移实时数据和任务 目前，借助于云端大数据基础设施，快速实现基于数据驱动的业务创新和运营创新已成为新一代互联网企业的业界共识和主流趋势。
2K30发布于 2021-09-18 - 来自专栏PowerBI战友联盟
复用云端 PowerBI 数据集服务众人
今天的主题是：复用 PowerBI 数据集。 在我们把报告发布到云端以后可以有： ? 也就意味着我们可以复用不同的数据集。 数据集，是存储 PowerBI 数据容器名称，是 PowerBI 可视化背后的实际数据。这份数据可以依照不同角色的需求去做不同的报告。 我们回到云端界面，如下： ? 点击【在Excel中分析】就会下载到一个连接文件。这是一个.odc结尾的文件，它就像一条线，可以从 Excel 打通到 PowerBI 云端数据集的连接。如下： ? （一般是 PowerBI Pro） 在 PowerBI 中使用数据集 在 PowerBI 中点击： ? 选择 PowerBI 数据集，得到： ? 选择一个有权限的数据集，就可以使用了，如下： ? 这里的权限控制是通过 PowerBI 云端完成的，也就意味着不同的人的权限是在云端的工作区设置的。 总结 用 PowerBI 创建数据模型，并分发给不同的同事使用是一种很好的方式。
2K20发布于 2020-04-08 - 来自专栏腾讯云数据库(TencentDB)
Redis数据库云端最佳技术实践
Redis集群版本身数据操作层面是很简单很稳定的，在做集群版的时候我们在两个地方做了很大的努力，第一个是数据迁移，我们看一下哪些场景会有数据迁移的需求？ 邹鹏：你们现在有数据，业务上云之后数据要上来，我们有DTS的平台，只要你把网络打通，我们工具就能连到你们的Redis，数据就可以传过来。 听众：谢谢老师。 接下来回到这个话题，数据迁移，集群版谈到稳定性，最大的挑战就是数据迁移，哪些场景下会有数据迁移呢？ 我们花了很大的代价做这块，还有一块集群版，这个东西难免产生数据倾斜，假如你的Key设计的不合理，就会出现你数据基本上都是打在某分片上，这个时候数据倾斜了就要要涉及数据迁移。 更多数据库前沿技术可关注 我们公众号：腾讯云数据库CDB 腾讯云数据库公众号文章版.jpg Q & A Q：你好，我问一下Redis跟Mysql的占比分别是多少？
1.7K90发布于 2018-11-06 - 来自专栏云计算D1net
如何将数据分析带到云端
但事实是，许多现有的数据管理和分析平台根本无法对正在创建的海量数据提供所需的洞察速度。 这是为什么呢？ 可以说，这是一种传统系统的组合，也就是prem模型数据中心和应用的结合，这些应用无法轻松扩展，以提供处理所创建的海量数据所需的存储和计算，以及一种过于关注历史数据或大数据的分析方法。 关键是要将所有数据，尤其是金融数据，视为时间序列，即在固定的时间点上具有特定的值尽管这适用于许多其他行业。这里的实时环境非常重要，因为数据的商业价值从创建之日起就开始消失。 有三个关键的考虑因素： 数据源访问：能够输入分析平台的市场、贸易、订单和参考数据越多，可以提取的洞悉质量就越好。然而，金融机构一直难以管理数据的庞大数量、格式和位置。 持续分析依赖于即时连接数据源，无论其位置如何，并构建运行分析的数据源。 优化编码：量化分析师、数据分析师和数据科学家从数据中提取价值的速度有多快，而不是花时间管理和处理数据。
67520编辑于 2022-12-08 - 来自专栏云计算D1net
云端数据加密的七大标准
由于可以通过前所未有的众多方式接入企业领域，这使得信息安全专业人员求助于众多数据保护方法。几十年来，加密一向是信息安全工具库当中的主要武器，但是面对我们如今亲眼目睹的数字化转变，加密需要重新评估。 一些目光长远的企业期望利用现代化技术，有机会重新定义其数据保护策略，同时在这个过程中将安全由一项必要的保护措施转变成一个业务推动因素。为了做到这一点，必须考虑下列七大加密标准。 问一下自己：贵企业里面有多少比例的数据是真正的敏感数据?贵公司的信息绝大多数很有可能出现在时代广场的广告牌上，不过造成的影响极小;某人生日派对的策划文档根本不需要予以加密。 ? 与云端加密有关的挑战归因于三大现象：云端数据急剧增加，现代用户的预期要求比较高，以及保留原生云功能具有的重要性。从2014年到2015年，我们目睹存储在公有云应用程序中的文件数量增长了10倍。 最后，正如我们已经讨论的那样，一刀切的加密会在云端带来复杂性，具体表现为影响搜索和报告功能。 第六个标准：自适应架构。 ?
1.2K40发布于 2018-03-21 - 来自专栏有关SQL
SQL 的云端大数据开发极速入门
PolyBase组件赋予了在数据库层面定义指向Hadoop/HDFS数据的外部表的能力，是帮助打通MPP数据库与Hadoop大数据生态系统的重要桥梁。 这就得说到在微软全面云化的战略之下，SQL Server其实也以多种不同形式迁移到了Azure云端，形成了若干款不同的云端数据服务产品（详情参见笔者介绍SQL Server 2017的文章）。 而PolyBase自然也一起被带到了云端，并在支持访问HDFS的基础上还添加了访问云存储的能力，这样我们就可以通过PolyBase和大家熟悉的T-SQL语言来轻松实现面向云存储的交互式查询了。 ? 首先我们准备一下实验所需的数据，我们同样沿用上篇文章中的包含信用卡借贷数据的csv文件，把它放置到存储账户的Blob中。 如果再考虑到SQL Server体系中ADO.NET/JDBC/ODBC等方便而成熟的访问接口，PolyBase还不失为一个生产应用集成云上大数据的优美方式，既可用于数据搬运，也可直查数据湖。
1.6K20发布于 2019-12-25 - 来自专栏云社区活动
云端数据备份与恢复的最佳实践
云端数据备份与恢复的最佳实践在现代数字化生活中，数据的重要性不言而喻。无论是个人用户的照片和文档，还是企业的核心业务数据，意外丢失都会带来巨大的损失。 作为一名技术从业者，我一直倡导使用云端技术来备份和恢复数据，因为它不仅可靠，而且在灾难发生时可以快速恢复数据。今天，我想分享一些关于云端数据备份与恢复的最佳实践，希望对你有所帮助。为什么选择云端备份？ 在开始之前，我们需要明确一个问题：为什么要选择云端备份？安全性高：云服务提供商通常有完善的数据加密和多层安全保护，确保数据安全。可扩展性强：无论数据量是几百兆还是几个 PB，云存储都能轻松扩展。 随时随地访问：只要有网络，你可以在全球任何地方访问你的数据。容灾能力强：即使本地设备损坏或丢失，云端备份也能保证数据完好无损。云端备份与恢复的最佳实践1. 结语数据是数字化时代的核心资产，保障数据安全不仅是一项技术工作，更是对生活和业务负责的体现。通过遵循以上云端数据备份与恢复的最佳实践，我们可以大幅降低数据丢失的风险，提升系统的可靠性。
2.1K00编辑于 2025-01-18 - 来自专栏云计算D1net
如何让数据迁移到云端更加容易
然后，IT团队必须在非工作时间内安排并执行到云端的迁移，以保护业务连续性。这可能需要一定时间，因为数据通常通过缓慢的互联网迁移到云端。 数据可以在内部存储和一个或多个云端之间移动，而不会中断应用程序的访问，即使数据在运行中。 重要的是，元数据引擎可以帮助IT比传统的归档解决方案更智能地将数据归档到云端。 可以通过广域网优化技术减少传输时间，这些技术在数据发送到云端之前将数据重新复制并压缩，同时通过对移动中的数据和静态数据进行加密来确保安全性。 三个关键挑战使得将与实时应用相关联的冷数据转移到云端变得困难。首先，如果应用程序再次需要数据，IT团队必须争取将这些数据恢复到本地存储。 使用元数据引擎来管理整个企业和云端的数据可以使此过渡变得简单。数据达到PB级规模的企业获得将数据从创建自动化到所有存储类型归档的能力，包括将公共云作为活动归档整合。
1.1K60发布于 2018-03-27 - 来自专栏物联网智慧生活
工业数据采集上传云端工业网关应用
图片1.png 工业数据采集上传云端工业物联网网关http://www.top-iot.com/list-55-1.html 1、通过直接连接设备或部署传感器，实现工业制造业检测环节的环境信息、设备信息的检测 9、支持边缘计算，在物联网边缘节点实现数据优化、实时响应、敏捷连接、模型分析等业务，有效分担云端计算资源支持多台设备同时接入。 10、金属外壳，保护等级IP30。 图片3.png 工业数据采集上传云端优势 1、降低存储成本：从设备传感器上采集的数据点往往是时序连续的过程量，随着采集频率的提高和周期延长，数据量是非常大的，如果考虑对海量的数据的存储、备份和还原全生命周期的管理 4、数据共享更便利：企业应该把自身看成“大数据”价值链中的一部分，那么企业既是贡献者也是受益者，工业大数据的价值可以共享给企业上下游使用，采用统一的公有云平台，促进数据资源的融会贯通，使得数据共享更方便 在越来越多的制造业把大数据放在云端进行处理的时候，在网络、存储和计算能力有效的情况下，采用对数据进行压缩和对数据特征进行选取的方法进行数据轻量化处理，可以满足数据业务的分析需求和提升处理效率。
1.6K20发布于 2021-07-08 - 来自专栏云计算D1net
将数据迁移到云端的最佳实践
并不是每个组织都有足够的专用带宽来传输数PB的数据，而不会导致核心业务的性能下降，也并不具有足够的备用硬件迁移到云端。 一个设备通常足以传输高达30TB的数据。对于较大的数据量，团队可以使用多个设备或重复该过程多次以逻辑块或段移动数据。 (2)将设备运送到云端环境。 生立数据 一旦数据移动到云端，此过程需要一些移动数据并重新同步的方法。其镜像代表了迁移生产数据的答案。 (4)数据的在线副本现在在云中，服务器可以故障转移到云端。 例如，美国的一个机构有2PB的内部部署数据，它希望部署在私有云中。 新的数据迁移选项使IT团队能够以最小化风险，成本和麻烦的方式“分解”云端，并最大程度地提高敏捷性。
1.8K90发布于 2018-03-28 - 来自专栏程序那些事儿
探索 Airtable：云端数据库的新纪元
在当今数字化时代，数据管理和协作是任何成功企业的核心。然而，传统的电子表格工具，如 Excel，虽然功能强大，但在处理大量数据和复杂关系时可能会显得力不从心。 这就是 Airtable 进入舞台的地方——一个云端数据库平台，它将电子表格的直观性与数据库的强大功能完美结合。 数据库与电子表格的较量 虽然数据库和电子表格在外观上相似，但它们的功能和用途却大相径庭。电子表格擅长执行计算和处理数字，而数据库则更擅长存储和检索大量数据，尤其是当数据之间存在复杂关系时。 你可以从选择一个模板开始，快速启动一个新项目，或者从头开始构建一个全新的数据库。每个数据库可以包含多个表，每个表包含多个记录，而视图则允许你根据不同的需求查看和组织数据。 它的易用性、灵活性和强大的功能使其成为当今市场上最受欢迎的云端数据库平台之一。让我们一起探索 Airtable，释放数据的潜力，提升工作效率。
1.1K10编辑于 2024-04-12 - 来自专栏NFS
让数据在云端与本地间行走自如
Hammerspace与公有云合作，通过横跨本地和共有云数据中心的全局数据平台提供高性能文件和对象存储的混合云和云原生解决方案。 Hammerspace全局数据平台软件可以部署在公有云上，也可以部署为横跨多个数据中心和多个公有云可用区的全局命名空间解决方案。 由于数据量巨大，用户甚至不知道要移动哪些文件，因此在数据中心和公有云之间移动非结构化数据是一项挑战。Hammerspace数据编排通过自动在本地和公有云之间移动数据解决了这个问题。 数据可以按共享、目录、文件夹甚至单个文件粒度移动，并且文件的放置与元数据无关，因此文件系统的呈现对用户和应用程序保持一致。 没有私有文件系统客户端，没有“附加”的数据管理应用程序，只有一个为从数据采集到归档的数据管道而提供服务的单一平台。
18610编辑于 2025-07-27 - 来自专栏云计算D1net
企业云端数据可能面临这些安全威胁
有很多与设备和服务之间的数据共享相关的风险，这也正是为什么在云端使用数据加密如此重要。 在日常生活中，我们使用了大量的数据。有些数据是敏感的，有些不是，但为了保证数据是安全的，我们必须将它加密。 本有很多与设备和服务之间的数据共享相关的风险，这也正是为什么在云端使用数据加密如此重要。 在线和离线数据存储的危险 在不同设备上存储，以及在某些服务中使用未加密的数据会面临各种各样的风险。 保护在线和离线数据存储 当存储到各种设备和在服务中使用时，数据必须要适当的加密，而当存储在云端时，就更需要这样做，因为这些数据可以在任何地方访问。 云文件同步：很重要的是，企业要保证所使用的服务支持零知识证明并且上传到云端的数据是经过加密的。 结论 存储在云端中的数据总是有会被恶意攻击者偷取的可能，这也正是为什么在将数据存储在云端之前要加密是如此重要了。
1.9K110发布于 2018-03-23 云端YashanDB数据库的优势与劣势
本文以云端YashanDB数据库为对象，详尽分析其技术架构和功能特点，阐述其在云环境下的优势与潜在劣势，助力企业构建高效、稳定的数据库系统。 同时，向量化计算利用SIMD技术实现批量数据处理，大幅提升CPU利用率和执行效率。配合分布式SQL引擎，支持大规模数据并行处理，适合云端大数据环境。 资源消耗与成本考量高可用、多副本存储、共享缓存及全局锁管理等特性，虽提升稳定性和扩展性，但在云端环境下意味着较高的计算、存储资源和网络开销。 结论与未来展望云端YashanDB数据库依托其灵活的部署架构、先进的存储设计和强大的SQL优化能力，能够有效满足多元化业务对数据存储与计算的需求。 YashanDB需持续深化数据库内核性能优化，增强运维智能化，强化安全防护机制，以适应更为复杂和动态的云端应用场景。持续关注行业发展趋势和客户需求，将帮助企业构建高效、稳定的云数据库环境。
21110编辑于 2025-09-21- 来自专栏云计算D1net
如何将数据中心迁移到云端
分类标准可以有很多，比如基于平台，或是否需要中间件对应用分类，同样的基于数据库来分类也可行。对环境的测试和评估，能帮助企业准确发现哪些应用存在不支持虚拟化的可能。 企业级应用一般而言都需要高CPU能量和大数据库，因此不推荐将其转入虚拟化环境。 完成了物理环境分析，下面要做的就是整合并虚拟化服务器。服务器需求一直存在变动，这样使得特定的服务器有时会空闲。 如果有应用在两个数据库运行，就得用中间件服务器或者运行多数据库的SQL服务器。整合好架构之后，要对环境进行测试，避免任何网络和存储故障，这一步完成后就可以开始虚拟化。 IBM、HP都有测量和报告数据，以便实现更佳性能和容量规划的工具。另外企业应该测试存储，确保能管理hypervisor负载，支撑虚拟化。 将数据中向云中迁移的过程现在变得越来越复杂。然而，迁移失败的主要原因要归咎于准备不充分。
1.5K90发布于 2018-03-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号