- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据猿
投稿 | 云端数据简报： 大数据向云端过渡
混合数据源的重心正在朝云端偏移。十五个月前，Tableau Online 客户的云端环境混合数据源连接与本地环境混合数据源连接一样多。 《云端数据简报》样本中的趋势揭示了三个发展动向，它们会影响分析和可视化未来将使用什么样的数据。 1. 数据重心将向云端偏移。 数据重力表示数据在服务和应用程序方面的影响。 如果您的数据存储在云端，您很可能希望自己的数据工具(从处理到分析)也能在云端运行。现在，数据重心集中在云端，集中程度在未来只会进一步增强。 构建数据生态系统的组织应将工作重心放在云端工作流程上，以确保系统已做好应对数据重力改变的准备。 2. 在向云端迁移的过程中，混合数据技术对企业经营至关重要。 如果只有部分数据可以迁移至云端，或者您想循序渐进地迁移数据，混合数据选项让您可以灵活应对云端托管和本地环境之间的矛盾。
5K50发布于 2018-04-19 - 来自专栏用户8715145的专栏
云端数据库是有哪些类型？云端数据库特点有哪些？
大型企业有用到云计算，自然就少不了要使用云端数据库，毕竟要储存的数据量还是很大的。特别是对于公司的机密文件以及数据，要做到百分百的安全。而且云端数据库不同的产品所要用到的数据库也不一样。 那么云端数据库是有哪些类型？云端数据库特点有哪些？ 云端数据库是有哪些类型 云端数据库一般是有两种类型，一种是关系型数据库，一种是非关系型数据库。 甚至还有数据库一体机以及企业分布式数据库等。 云端数据库特点有哪些 1、云端数据库创建实例的速度是很快的，只需要用户选择好所需要的类型后，几分钟就可以创建好数据库实例。 2、可自动切换数据库实例，当主库发生故障时，系统会自动修复或更换当前的主库。 3、云端数据库一般会自动备份功能，当出现灾害或是其它的异常而导致数据出现问题时，云端数据库会自动保存7天内的所有数据。 4、可随时保证云端数据库与源数据库的数据同步，同时还不会影响源数据库的使用与运行。 而且云端数据库还具有监控与通知的功能，当监控项达到我们所设置的监控策略阀值时，系统会自动发送邮件或是短信告知管理员。
5.6K20发布于 2021-10-20 - 来自专栏云计算D1net
在2016年挖掘云端能力的10种方式
下面就是其中10种方法。 1、应用开发和测试 通过将应用开发和测试活动外包到云中，一些大公司已经可以推迟甚至取消他们自己数据中心内昂贵的硬件升级。 7、大数据处理 每一家公司都希望利用大数据和数据分析，但是很多中小企业负担不起处理这些数据的设备和专业技能。获得大数据/分析能力的一个途径，就是以订购付费的模式选择一家云提供商。 很多商业大数据和分析云提供商提供了硬件/软件和技能，实现负担得起、交钥匙的数据分析操作。 它还可以实现团队成员时间的积极合作，避免内部员工不得不每天更新项目数据的繁琐而辛苦的工作。 10、需求高峰期的扩展 零售商有他们自己的节日和促销季，但是他们不希望在数据中心上投资以覆盖使用高峰期，然后在需求减弱期间让这些资源闲置着。
1.5K50发布于 2018-03-23 本地程序访问云端数据库和云端服务调试方案
经常遇到一些场景，程序在本地是正常的，但是在云端生产上面不正常。这些往往是由于云端的第三方服务存在差异或者是云端的数据库数据存在差异，比如脏数据，数据的历史原因等等，在本地是无法调试的。 这时候要还原生产的现场，最直接的方法是连接生产端的数据库或者第三方服务进行调试。但是这里有一些问题，有些数据库或者第三方服务，是没有密码的，比如redis。 （二）添加ssh连接，并且设置端口映射策略如下图所示，是添加ssh连接的界面：上图是将云端内网172.16.0.3和172.16.0.4的mysql和redis数据库的端口，映射到本地来了。 比如数据库的3306映射到了本地13306,redis的6379映射到了16379端口上。 （三）、启动映射策略添加完ssh连接后，启动这个ssh映射策略即可，如下图：这样，你的本地程序，连接本地127.0.0.1下的13306和16379端口，就可以连接上云端的数据库了。
12810编辑于 2026-02-09- 来自专栏云计算D1net
在云端保存数据安全吗?
在数据传输到云端时可能会遇到问题，一旦达到云端，数据处于静止状态，以及迁移到云端之前的分段区域的数据都可能面临风险。数据是一种资产，将面临损坏、删除甚至存储介质退化的风险。 静默数据损坏 传输数据和存储数据的每一时刻，都会出现静默数据损坏的风险。如果突然变成零，那么文件不再有用。传播中可能会发生静默损坏，并将数据写入存储介质。 当然存储在云计算中的数据应该被存储或发送到云端，使得公司可以从任何损坏或意外删除中恢复，并且不会意外地删除云数据，并且还必须主动监视数据损坏或攻击。 如果一个平台作为传统云供应商的网关，它可以添加一些完整性数据功能，例如创建不能通过该接口覆盖的WORM或黄金副本的数据。客户应选择一个平台，可以在数据迁移到云端之前指定保留锁，访问权限和WORM副本。 通过从云端重新启动数据或为此目的在云中创建基础设施来验证数据可能是昂贵的，因此这样的系统应该构建在利用成本有效的计算组件(如来自AWS的LAMDA或来自Azure的Micro功能)中。
2.7K110发布于 2018-03-28 - 来自专栏PPV课数据科学社区
大数据的未来在云端
即席查询生成报表，对业务进行预测，充分利用大数据流中隐藏的价值。 你的数据都有哪些类型组成？关系型数据、非结构化数据还是音频视频？ 你如何存储不同类型的数据，然后让企业内部的人员可以访问这些数据？答案其实在云端，云存储技术基本上可以应对大数据的存储需求，你可以存储任何类型的数据然后轻松地进行扩展。 比如读密集型的数据一般需要关系型数据库；日志文件只使用HDFS存储就可以；需要大量写操作的数据则需要NoSQL数据库；而存在大量读写操作的系统就需要强大的大数据架构来作为支撑。 新一代的BI工具能够应对实时、图形化、大对象以及非结构化数据的处理，同时能够将这些数据存储在云端。每种数据可以托管在不同的云服务上，但都可以通过一个API进行访问。 千里之行始于足下，在构建大数据分析模型或者投入机器学习，招聘数据科学家之前，企业需要先解决好如何存储大数据，而答案就在云端。
1.1K60发布于 2018-04-18 - 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
腾讯云大数据产品架构师李少波说。 少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。 但随着游戏业务迁移上云和数据规模、维度的快速增长，数据分析任务日渐繁重和多态化，对数据处理的时效性和稳定性要求越来越高，搜狐畅游亟需通过更灵活稳定的大数据基础能力建设，提升大数据的分析、管理和运维，为游戏稳定流畅运行 搜狐畅游 BI 大数据中心技术负责人介绍说：“首先，搜狐畅游与腾讯云大数据技术团队一起紧密配合，详细梳理当前数据、任务、流程，按特征进行归类，针对不同情况（如历史数据、实时数据）进行针对性设计迁移方案， 确保全覆盖场景；其次，对各类数据和任务，抽样进行尝试迁移验证，包括元数据、数据、作业等相关联的完整测试校验，确保无误；最后，结合业务应用特征，配置策略，利用低峰期将历史数据平缓迁移，再配置双写策略，平滑迁移实时数据和任务 目前，借助于云端大数据基础设施，快速实现基于数据驱动的业务创新和运营创新已成为新一代互联网企业的业界共识和主流趋势。
2K30发布于 2021-09-18 - 来自专栏PowerBI战友联盟
复用云端 PowerBI 数据集服务众人
今天的主题是：复用 PowerBI 数据集。 在我们把报告发布到云端以后可以有： ? 也就意味着我们可以复用不同的数据集。 数据集，是存储 PowerBI 数据容器名称，是 PowerBI 可视化背后的实际数据。这份数据可以依照不同角色的需求去做不同的报告。 我们回到云端界面，如下： ? 点击【在Excel中分析】就会下载到一个连接文件。这是一个.odc结尾的文件，它就像一条线，可以从 Excel 打通到 PowerBI 云端数据集的连接。如下： ? （一般是 PowerBI Pro） 在 PowerBI 中使用数据集 在 PowerBI 中点击： ? 选择 PowerBI 数据集，得到： ? 选择一个有权限的数据集，就可以使用了，如下： ? 这里的权限控制是通过 PowerBI 云端完成的，也就意味着不同的人的权限是在云端的工作区设置的。 总结 用 PowerBI 创建数据模型，并分发给不同的同事使用是一种很好的方式。
2K20发布于 2020-04-08 - 来自专栏AI模型部署实践
HAI 云端 Windows，10 分钟 0 门槛启动秋叶SD整合包！
那今天就给大家重磅带来怎么用云端快速部署一个带 GPU 的 Windows 环境，快速部署秋叶大佬的整合包，让 0 基础的小白朋友们也能快速用起来。 整个部署流程不需要任何编程能力，极简极简极简！ 实现效果 完成部署后，你会拥有一个配置了秋叶整合包的，WIN系统的，超高性价比的，想用就用不想用就关的云端GPU环境。效果如下： 三. 具体操作（ 10-15min） 操作流程非常简单，只需 3 步即可启动！ 3.1 买一台机器 本次使用高性能应用服务HAI产品，选 1.2 元一小时的实例就好，T4卡，16GB显存，性能足够。 3.3 下载秋叶整合包（5-10min） 进到 win 环境后就是熟悉的页面熟悉的操作了，和在本地的 win 操作没有区别！主要分两步： 前往 b 站，获取秋叶大佬整合包的下载地址。 秋叶SD-webui 整合包 在云端 win 环境里，下载一个你习惯用的网盘（阿里云盘、夸克网盘、百度网盘），然后把秋叶大佬的整合包下载下来。我平时用百度网盘比较多，下载过程如图。
2.4K33编辑于 2024-06-14 - 来自专栏云计算D1net
如何将数据分析带到云端
但事实是，许多现有的数据管理和分析平台根本无法对正在创建的海量数据提供所需的洞察速度。 这是为什么呢？ 可以说，这是一种传统系统的组合，也就是prem模型数据中心和应用的结合，这些应用无法轻松扩展，以提供处理所创建的海量数据所需的存储和计算，以及一种过于关注历史数据或大数据的分析方法。 关键是要将所有数据，尤其是金融数据，视为时间序列，即在固定的时间点上具有特定的值尽管这适用于许多其他行业。这里的实时环境非常重要，因为数据的商业价值从创建之日起就开始消失。 有三个关键的考虑因素： 数据源访问：能够输入分析平台的市场、贸易、订单和参考数据越多，可以提取的洞悉质量就越好。然而，金融机构一直难以管理数据的庞大数量、格式和位置。 持续分析依赖于即时连接数据源，无论其位置如何，并构建运行分析的数据源。 优化编码：量化分析师、数据分析师和数据科学家从数据中提取价值的速度有多快，而不是花时间管理和处理数据。
68020编辑于 2022-12-08 - 来自专栏腾讯云数据库(TencentDB)
Redis数据库云端最佳技术实践
其实Redis已经有10年的发展历史，但是我们可以看到这两年在我们云上还在持续快速的增长，Redis主要场景还是在于缓存，从我们现在的数据来看，如果抛开游戏的场景不说，80%的场景都是缓存，所以它还是缓存数据库 有时候想看一下开发究竟写了什么数据在里面，可以通过这些数据了解到你的Key的情况，还有常见的指标监控，流量、命中率这种，很重要，缓存、可以通过命中率看到，这个时候10%5%的时候是有问题的，这个指标很关键 另外在网络上突破了单线程，Redis的消耗是Key的操作还有网络的操作，像QPS5-10万的时候，网络占比很大，我们把网络收发变成多线程，既保证数据一致性，又把性能提升，最高单位节点能够跑到30万+，比如说你需要事务的支持 ，但是需要事务支持的时候很难用集群版的，这个时候可以考虑这种模式去支持，既要突破10万QPS的，又要做到数据无分片的情况。 A：你可以看这张图，实际情况大概是这样子，大概10：1的样子。 Q：在单节点的时候，考虑过Redis怎么实现高分组吗？我们是不是可以考虑通过DPDK吗？
1.7K90发布于 2018-11-06 - 来自专栏云计算D1net
如何让数据迁移到云端更加容易
然后，IT团队必须在非工作时间内安排并执行到云端的迁移，以保护业务连续性。这可能需要一定时间，因为数据通常通过缓慢的互联网迁移到云端。 数据可以在内部存储和一个或多个云端之间移动，而不会中断应用程序的访问，即使数据在运行中。 重要的是，元数据引擎可以帮助IT比传统的归档解决方案更智能地将数据归档到云端。 可以通过广域网优化技术减少传输时间，这些技术在数据发送到云端之前将数据重新复制并压缩，同时通过对移动中的数据和静态数据进行加密来确保安全性。 三个关键挑战使得将与实时应用相关联的冷数据转移到云端变得困难。首先，如果应用程序再次需要数据，IT团队必须争取将这些数据恢复到本地存储。 使用元数据引擎来管理整个企业和云端的数据可以使此过渡变得简单。数据达到PB级规模的企业获得将数据从创建自动化到所有存储类型归档的能力，包括将公共云作为活动归档整合。
1.1K60发布于 2018-03-27 - 来自专栏云计算D1net
云端数据加密的七大标准
由于可以通过前所未有的众多方式接入企业领域，这使得信息安全专业人员求助于众多数据保护方法。几十年来，加密一向是信息安全工具库当中的主要武器，但是面对我们如今亲眼目睹的数字化转变，加密需要重新评估。 一些目光长远的企业期望利用现代化技术，有机会重新定义其数据保护策略，同时在这个过程中将安全由一项必要的保护措施转变成一个业务推动因素。为了做到这一点，必须考虑下列七大加密标准。 问一下自己：贵企业里面有多少比例的数据是真正的敏感数据?贵公司的信息绝大多数很有可能出现在时代广场的广告牌上，不过造成的影响极小;某人生日派对的策划文档根本不需要予以加密。 ? 与云端加密有关的挑战归因于三大现象：云端数据急剧增加，现代用户的预期要求比较高，以及保留原生云功能具有的重要性。从2014年到2015年，我们目睹存储在公有云应用程序中的文件数量增长了10倍。 最后，正如我们已经讨论的那样，一刀切的加密会在云端带来复杂性，具体表现为影响搜索和报告功能。 第六个标准：自适应架构。 ?
1.2K40发布于 2018-03-21 - 来自专栏有关SQL
SQL 的云端大数据开发极速入门
PolyBase组件赋予了在数据库层面定义指向Hadoop/HDFS数据的外部表的能力，是帮助打通MPP数据库与Hadoop大数据生态系统的重要桥梁。 这就得说到在微软全面云化的战略之下，SQL Server其实也以多种不同形式迁移到了Azure云端，形成了若干款不同的云端数据服务产品（详情参见笔者介绍SQL Server 2017的文章）。 而PolyBase自然也一起被带到了云端，并在支持访问HDFS的基础上还添加了访问云存储的能力，这样我们就可以通过PolyBase和大家熟悉的T-SQL语言来轻松实现面向云存储的交互式查询了。 ? 首先我们准备一下实验所需的数据，我们同样沿用上篇文章中的包含信用卡借贷数据的csv文件，把它放置到存储账户的Blob中。 如果再考虑到SQL Server体系中ADO.NET/JDBC/ODBC等方便而成熟的访问接口，PolyBase还不失为一个生产应用集成云上大数据的优美方式，既可用于数据搬运，也可直查数据湖。
1.6K20发布于 2019-12-25 - 来自专栏云社区活动
云端数据备份与恢复的最佳实践
云端数据备份与恢复的最佳实践在现代数字化生活中，数据的重要性不言而喻。无论是个人用户的照片和文档，还是企业的核心业务数据，意外丢失都会带来巨大的损失。 作为一名技术从业者，我一直倡导使用云端技术来备份和恢复数据，因为它不仅可靠，而且在灾难发生时可以快速恢复数据。今天，我想分享一些关于云端数据备份与恢复的最佳实践，希望对你有所帮助。为什么选择云端备份？ 在开始之前，我们需要明确一个问题：为什么要选择云端备份？安全性高：云服务提供商通常有完善的数据加密和多层安全保护，确保数据安全。可扩展性强：无论数据量是几百兆还是几个 PB，云存储都能轻松扩展。 随时随地访问：只要有网络，你可以在全球任何地方访问你的数据。容灾能力强：即使本地设备损坏或丢失，云端备份也能保证数据完好无损。云端备份与恢复的最佳实践1. 结语数据是数字化时代的核心资产，保障数据安全不仅是一项技术工作，更是对生活和业务负责的体现。通过遵循以上云端数据备份与恢复的最佳实践，我们可以大幅降低数据丢失的风险，提升系统的可靠性。
2.2K00编辑于 2025-01-18 - 来自专栏物联网智慧生活
工业数据采集上传云端工业网关应用
图片1.png 工业数据采集上传云端工业物联网网关http://www.top-iot.com/list-55-1.html 1、通过直接连接设备或部署传感器，实现工业制造业检测环节的环境信息、设备信息的检测 9、支持边缘计算，在物联网边缘节点实现数据优化、实时响应、敏捷连接、模型分析等业务，有效分担云端计算资源支持多台设备同时接入。 10、金属外壳，保护等级IP30。 图片3.png 工业数据采集上传云端优势 1、降低存储成本：从设备传感器上采集的数据点往往是时序连续的过程量，随着采集频率的提高和周期延长，数据量是非常大的，如果考虑对海量的数据的存储、备份和还原全生命周期的管理 4、数据共享更便利：企业应该把自身看成“大数据”价值链中的一部分，那么企业既是贡献者也是受益者，工业大数据的价值可以共享给企业上下游使用，采用统一的公有云平台，促进数据资源的融会贯通，使得数据共享更方便 在越来越多的制造业把大数据放在云端进行处理的时候，在网络、存储和计算能力有效的情况下，采用对数据进行压缩和对数据特征进行选取的方法进行数据轻量化处理，可以满足数据业务的分析需求和提升处理效率。
1.7K20发布于 2021-07-08 - 来自专栏云计算D1net
将数据迁移到云端的最佳实践
使用非常快的10G网络连接，团队可以将每秒100MB到200MB的数据上传到NAS设备上。设备应支持目标环境(Windows，Linux等)和文件访问机制(NFS，CIFS，光纤通道等)。 一个设备通常足以传输高达30TB的数据。对于较大的数据量，团队可以使用多个设备或重复该过程多次以逻辑块或段移动数据。 (2)将设备运送到云端环境。 生立数据 一旦数据移动到云端，此过程需要一些移动数据并重新同步的方法。其镜像代表了迁移生产数据的答案。 在另一个例子中，全球管理咨询公司使用10G链接将规模较小的数据从数据中心移动到目标存储云，以及迁移设备来移动PB数据。 一旦10G链接数据上传被复制到存储资源，云迁移提供商使用AWS平台直接连接到AWS。这样就可以将资源从公共云中分离出来，而且随时可用。
1.8K90发布于 2018-03-28 - 来自专栏云计算D1net
企业云端数据可能面临这些安全威胁
有很多与设备和服务之间的数据共享相关的风险，这也正是为什么在云端使用数据加密如此重要。 在日常生活中，我们使用了大量的数据。有些数据是敏感的，有些不是，但为了保证数据是安全的，我们必须将它加密。 本有很多与设备和服务之间的数据共享相关的风险，这也正是为什么在云端使用数据加密如此重要。 在线和离线数据存储的危险 在不同设备上存储，以及在某些服务中使用未加密的数据会面临各种各样的风险。 保护在线和离线数据存储 当存储到各种设备和在服务中使用时，数据必须要适当的加密，而当存储在云端时，就更需要这样做，因为这些数据可以在任何地方访问。 云文件同步：很重要的是，企业要保证所使用的服务支持零知识证明并且上传到云端的数据是经过加密的。 结论 存储在云端中的数据总是有会被恶意攻击者偷取的可能，这也正是为什么在将数据存储在云端之前要加密是如此重要了。
1.9K110发布于 2018-03-23 - 来自专栏NFS
让数据在云端与本地间行走自如
Hammerspace与公有云合作，通过横跨本地和共有云数据中心的全局数据平台提供高性能文件和对象存储的混合云和云原生解决方案。 Hammerspace全局数据平台软件可以部署在公有云上，也可以部署为横跨多个数据中心和多个公有云可用区的全局命名空间解决方案。 由于数据量巨大，用户甚至不知道要移动哪些文件，因此在数据中心和公有云之间移动非结构化数据是一项挑战。Hammerspace数据编排通过自动在本地和公有云之间移动数据解决了这个问题。 数据可以按共享、目录、文件夹甚至单个文件粒度移动，并且文件的放置与元数据无关，因此文件系统的呈现对用户和应用程序保持一致。 没有私有文件系统客户端，没有“附加”的数据管理应用程序，只有一个为从数据采集到归档的数据管道而提供服务的单一平台。
18910编辑于 2025-07-27 - 来自专栏程序那些事儿
探索 Airtable：云端数据库的新纪元
在当今数字化时代，数据管理和协作是任何成功企业的核心。然而，传统的电子表格工具，如 Excel，虽然功能强大，但在处理大量数据和复杂关系时可能会显得力不从心。 这就是 Airtable 进入舞台的地方——一个云端数据库平台，它将电子表格的直观性与数据库的强大功能完美结合。 数据库与电子表格的较量 虽然数据库和电子表格在外观上相似，但它们的功能和用途却大相径庭。电子表格擅长执行计算和处理数字，而数据库则更擅长存储和检索大量数据，尤其是当数据之间存在复杂关系时。 你可以从选择一个模板开始，快速启动一个新项目，或者从头开始构建一个全新的数据库。每个数据库可以包含多个表，每个表包含多个记录，而视图则允许你根据不同的需求查看和组织数据。 它的易用性、灵活性和强大的功能使其成为当今市场上最受欢迎的云端数据库平台之一。让我们一起探索 Airtable，释放数据的潜力，提升工作效率。
1.2K10编辑于 2024-04-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号