回答情况：
提问时间：
问题标签：
我们必须介绍如何使用以下三种技术来执行数据仓库：我到目前为止的理解是：
activities.AWS数据管道是一个数据仓库平台，您可以在这个平台上存储数据以执行分析和商业智能，数据管道可以用来调度任务和操作。您是否会使用数据管道来调度map中的ETL过程，然后将数据传输到RedShift？如果是的话，你怎么能做到呢？
浏览 15提问于2022-10-16得票数 0
我试图控制一个任务在哪个气流工作者上执行，但是DAG定义中的队列参数没有被调度程序捕获。我在subdag操作符中定义了一个队列： subdag = build_xdata_etl_dag(dag, 'xdata_run_etl'), dag = dag,
trigger_r
浏览 2提问于2020-04-03得票数 1
我们正在考虑利用Talend作为开源ETL平台。我们目前主要是为ETL使用SSIS。我们希望通过使用来节省许可成本。是的企业版吗？如果我们把作为完整的ETL平台，我们将面临哪些缺点？
浏览 0提问于2022-03-01得票数 0
回答已采纳
1回答
我目前的平台架构有一个用于下载/收集数据的微服务、一个用于ETL的微服务和另一个处理一些复杂SQL脚本的微服务。我想问：，使用微服务的气流最好的方法是什么？我是否应该使用DAG中的任务与微服务进行通信(发布消息和微服务将订阅)？
DAG可以描述如下。
浏览 4修改于2020-04-27得票数 5
我想知道是否有人将Camunda作为数据管道/ETL的调度器和调度器，并且可以分享他的经验。谢谢!
浏览 10提问于2022-05-12得票数 0
回答已采纳
我们正在寻找现有DataStage平台的替代品。它有大约1500多个映射/数据存储作业在前提下。这些映射还具有一些复杂的转换和映射。它是一个完整的ETL架构的前提.如果需要用microsoft平台(SSIS或Azure数据工厂)替换(数据)，那么可以使用SSIS工具替换哪些选项。备选方案：
如果选择SSIS工具，则需要将所有数据存储凭证(带有ETL转换)重写到SSIS，然后SSIS可以通过Azure数据工厂运行。可以重写Azure数据工厂中的所有ETL数据传输作业/脚本，如果推荐使用它
浏览 2修改于2020-02-10得票数 1
我想问你一个关于Google平台的bigQuery的问题。ETL指的是提取、转换和加载。Cookie: 'test_cookie'hour : 00}
即将以这种方式执行数据ETL我发布了一个问题，因为很难找到任何与Google平台文档相关的内容。
浏览 1提问于2020-10-26得票数 0
回答已采纳
我正在尝试构建一个ETL，它将源表映射到一个维度的星型模式模型。构建一个直接使用Python ()处理kudu表的ETL。或
B-或在黑斑羚中创建UDF(等效于SQL中的存储过程)，执行插入/联接等操作，将源表映射到星型模式模型，并使用Nifi或任何调度程序(如气流等)对其进行调度。
浏览 10提问于2021-04-16得票数 0
回答已采纳
如何将其作为一个ETL部署在云服务器上，该ETL将链接到作业调度程序，从而不再需要人工操作？
我担心的是，Xlwing需要Excel许可证(和GUI?)，这在生产服务器中通常是不可用的。
浏览 5修改于2022-05-27得票数 5
回答已采纳
如果有人能给我解释一下是什么让Apache Pig成为ETL工具，以及它的反面是什么，我会很高兴。我知道ETL意味着提取、转换和加载数据，Pig就是这么做的，但其他平台也是如此，比如Flink，Spark和R(你获取数据，执行一些操作，然后加载到其他地方)，我找不到任何信息说这些工具也被认为是ETL也许我没有完全理解ETL是什么意思？谢谢。
浏览 2提问于2015-03-11得票数 0
我计划写这作为一个多线程的Java程序，这将作为一个作业，每天午夜运行的调度；该程序将从各种事务日志表与其他表从数据库中提取数据，计算和存储回一个单独的表的结果。GUI (仪表板)平台将通过单独的The服务请求这些信息，该the服务已经存在，用于提供各种其他详细信息。项目中几乎所有的模块都使用Spring框架，所以我想使用具有调度功能的Spring-Batch。在开始设计之前，我开始了一些研究，我发现使用了各种其他技术，例如ETL工具、数据库本身中的调度、实时数据分析和其他类似的技术。
我是不是已经解决了
浏览 1修改于2015-07-21得票数 0
我想把这个可执行文件放在Windows任务调度程序上。专用
用launch4j构建的Java可执行文件。带有schtasks /create /tn MyETL /sc hourly /mo 3 /tr C:\ETL\etl.exe的调度器集
浏览 1修改于2017-08-19得票数 0
回答已采纳
我想了解像Hadoop MapReduce作业/火花作业/Hive脚本/Pig脚本这样的ETL作业通常是如何部署在on premises生产/开发环境中的。它们是否总是使用像Apache气流或Apache这样的调度器来部署和运行？
我假设这些作业几乎从不独立运行，而且总是使用调度程序运行，即使它是一个简单的调度bash脚本。这个准确吗？
浏览 0提问于2021-10-29得票数 1
我用Python编写了一个ETL作业。今天我使用ap调度器。我的密码里有这样的东西：
sched.add_job(etl_job,'interval',minutes=7)现在有人知道要解决这个问题了吗
浏览 4提问于2020-09-29得票数 0
回答已采纳
1回答
我面临以下问题，我是云计算和数据库的新手。我想为应用程序设置一个简单的仪表板。基本上，我想复制这个显示空气污染数据的网站。从API下载数据：和我想到了这个链接，特别是" --每个传感器最后一个小时的所有测量值的平均值“。(技术: Python )设置了一个机器人来转换数据，以适应我们的需要。(技术:Python)将数据上传到数据库。(技术: Google或AWS)将数据库连接到可视化工具上，这样每个人都可以在我们的网页上看到它。(技术:可能在Python中飞奔)
我的问题如下。1.你同意我的想法吗?还是你会改变一些元素来提高效率? 2.你认为运行python
浏览 3提问于2020-05-15得票数 0
回答已采纳
我是一个数据仓库开发人员，目前正在研究如何使用Azure平台来托管一个新的数据仓库。如何在Azure中复制这种设置？
浏览 8提问于2020-05-13得票数 1
回答已采纳
2回答
我被要求制作一个ETL风格的应用程序，将信息从一个数据源传输到另一个数据源。目前，我已经决定使用三层体系结构，但我想了解更多关于最佳实践以及这个wikipedia页面描述的生命周期的信息：
Functional层：核心功能的ETL处理(提取、转换和load).Operational管理层：作业流定义和管理、参数、调度、监视、通信和alerting.Audit，平衡和控制层：作业执行统计、平衡和控制、拒绝和错误处理、代码management.Utility真实ETL循环
典型
浏览 2修改于2018-04-07得票数 2
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号