回答情况：
提问时间：
问题标签：
我使用的应用程序应该是从特定源读取数据(Json)，对其执行所需的业务转换，然后将其实时加载到MySQL数据库(所有这些时间的持续时间应以毫秒为单位)。
浏览 2修改于2021-06-12得票数 0
我正试图找出最有效的方法从MySQL中提取数据，将其转换并加载到几乎实时的红移。目前，我们有通宵ETL工艺(使用宾得)，持续时间~40分钟，我们希望用近实时(小批1-5分钟)取代它。
浏览 3修改于2018-05-15得票数 5
我们有一个系统，其中我们的主要数据存储(和“普遍的真理来源”)是Postgres，但我们复制的数据在实时和夜间的总和。我们的ETL管道已经变得足够广泛，我们开始研究像和这样的工具，但是从我最初的研究中可以看出，这些工具几乎完全是用于批量装载的。是否有任何工具可以处理一个ETL进程，既可以处理大批ETL进程，也可以处理实时、大容量、单独记录复制？气流或路易吉能处理好这件事而我只是错过了吗？
谢谢!
浏览 8提问于2016-10-13得票数 3
回答已采纳
我们现有的etl管道通过队列异步地消耗事件，并将事件等效地保存到我们现有的数据库技术中。幂等结构允许我们在没有重复风险的情况下，偶尔重播几个小时或几天的事件，以纠正错误和数据中断。在测试BigQuery时，我们尝试使用具有唯一密钥的实时流插入api作为insertId。这为我们提供了在短窗口上重新插入的功能，但是稍后数据的重新流会导致重复。因此，我们需要一个优雅的选项来消除实时/近实时的欺骗，以避免数据差异。
我们有几个问题，希望得到任何一个问题的答案。对于在ETL体系结构中使用BigQuery
浏览 3提问于2017-03-27得票数 3
回答已采纳
我正在查看Azure Data，但我确实需要Oracle中的数据更改尽可能接近实时。ADF是工作的正确工具吗？如果是这样的话，什么是好的使用方法？
浏览 13提问于2020-01-15得票数 0
回答已采纳
我现在面临着创建一个系统的挑战，在这个系统中，数据仓库中的数据需要保持在接近实时的水平(几分钟的延迟是可以的，但仅此而已)。我已经做了大量的阅读，似乎接近实时已成为DW在过去几年的趋势。但是，我很难找到有关可用工具的具体示例和具体信息，这些工具支持这种“滴流式”ETL。正确的工具似乎能够读取数据库事务日志并将这些更改发送到数据仓库，同时允许在运行中进行一些数据转换。是否有人有实时数据仓库的经验，并能推荐一个好的工具，或指出这方面的良好阅读。rja&uact=8&ved=0CGQQFjAGOB4&ur
浏览 0提问于2014-04-17得票数 4
我需要在半实时的基础上从它中提取数据(有些人肯定会问半实时意味着什么，答案是尽可能频繁的，但我将是务实的，就像我们希望每15分钟一次那样)，并将其输入数据仓库。
多少数据？当然，这将使管理更容易，因为它是在系统范围内，但同样，我不需要一些表(有些是用于持久存储的JMS消息，我不想直接log)Querying数据通过一个ETL工具，如塔伦德，并将它注入DW .问题是OLTP
浏览 5提问于2010-03-25得票数 14
回答已采纳
我们希望有一个数据仓库与我们的生产OLTP数据库在几乎实时的同步。是否可以使用事务复制和触发器来完成此操作？
建议选择我们希望从OLTP数据库同步到数据仓库的引用表，并与sql服务器内置的事务性复制进行单向同步。
浏览 0修改于2019-03-08得票数 1
回答已采纳
请求是两个源之间的实时数据同步。
我应该继续使用常规的SSIS ->暂存->合并路由来继续并测试它，还是应该研究实现CDC。考虑到所涉及的表数，这会比普通的旧ETL更快吗？
浏览 0修改于2018-10-17得票数 2
回答已采纳
目前，我有一个ETL作业，它将每隔X分钟在Server数据库之间传输数据。ETL工作是通过.NET exe完成的。最近，客户端会希望数据更加实时。
我已经接触到了使用SSIS代替ETL工作的理想。是否能够优化ETL流程以满足近乎实时的需求？
浏览 6修改于2022-08-19得票数 0
我有跨地理位置的数据库，需要近乎实时地同步数据库。此外，只有SSIS ETL可以处理更大的数据量。如果要求的是更大的数据量和接近实时的更新，那么适用的方法是什么？
浏览 0提问于2014-03-04得票数 0
这个应用程序所做的事情之一就是整天将记录加载到DB中的ETL表中，然后移动到数据仓库中。
不幸的是，这个应用程序现在在ETL表上有很多问题，而且供应商没有监控解决方案。我没有访问DB添加存储过程或任何东西的权限，但是我可以在ETL表上运行count *来查看事情是否失控。我已经成功地编写了一个VB.NET应用程序，它将返回这些ETL表中的行数，这样我就可以监视事物，但只有在触发按钮事件时，它才会返回计数。我从来没有写过一个“实时”运行/更新的应用程序，我正在寻找一些指导，我可以创建一个应用程序，
浏览 7提问于2014-08-22得票数 0
回答已采纳
要求是实时地将数据从RDS POSTGRES加载到RDS oracle。
AWS Glue是ETL工具。AWS Glue具有实时从Kinesis获取数据以进行流式传输的功能。
浏览 0提问于2021-01-19得票数 0
我使用生成一个ETL文件。这个API非常适合日志记录...除了我想不出读取这些日志的方法！
使用WPA，ETViewer...我可以看到事件，但看不到日志消息。是否有人成功地使用任何跟踪查看器(实时或非实时)读取了此示例/API(Windows.Foundation.Diagnostics)生成的ETL文件？
浏览 6修改于2015-08-24得票数 1
1回答
我有这样一个场景，在工作时间，Redshift上的极端报告任务(比如数据库查询、tableau提取、tableau实时连接等)和晚上的ETL任务开始
有没有办法在WLM参数组之间及时切换，以便在工作时间我可以使用Reporting WLM参数组，而在晚上我可以使用ETL参数组？
浏览 1修改于2019-08-30得票数 1
数据应该是几乎实时的，因为用户正在实时地输入数据。所有用户数据将立即传送到服务器。在我们的情况下是否推荐使用ETL工具/
浏览 3提问于2015-05-26得票数 0
回答已采纳
我是一个新的设计ETL过程。目前，我有两个数据库，一个是实时数据库，应用程序每天使用它进行事务处理。另一个是数据仓库。由于我缺乏知识，我得到的解决方案是实现一个叫做滚动表的东西。基本上，在活动数据库中，我有两个具有相同结构的表。当我运行ETL进程时，我有一个存储过程，它将删除并创建一个指向tblLive2的新同义词。这允许ETL进程在不影响应用程
浏览 2修改于2015-12-29得票数 2
回答已采纳
请给我提供实时猪使用案例。银行业和医疗保健行业将会有很大帮助。同样好奇的是，Pig是否可以在Hadoop世界中用作ETL工具。
浏览 1修改于2016-07-18得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号