我扩展了JDBC适配器,并使用具有1个原始模式和2个派生模式的model.json配置自定义模式工厂来添加规则,并且在规划过程中,规则在原始模式上执行,但它们的最终结果没有被火山规划者选为最佳选项,因为它太贵了。规则将RelNode转换为在2个派生架构上执行。下面和代码中有更多详细信息。
1)我可以告诉Volcano planner忽略我通过自定义JDBC SchemaFactory传递的3个模式中的1个吗?
我希望解析器在这1个原始模式上工作,但规划器永远不会在该模式中建议最优(最便宜)的计划(只有其他2个派生模式)。1个原始模式始终与其他2个派生模式一对一映射,因此我的规则返回的RelNode在语义上总是等价的,只是代价更高(出于安全原因)。
2)如果这不能工作,我怎么能调用HepPlanner而不是在model.json中设置的SchemaFactory中的默认火山规划器,因为这是我的起点?
你可以在GitHub上找到我的整个代码,我公开了它,这样每个人都可以有一个比我更好的起点。
这是链接:https://github.com/igrgurina/multicloud_rewriter
方解石库很棒,但它真的很难进入,因为它缺乏常见任务的示例和教程。
理想情况下,我会让HepPlanner执行我的规则,将它们转换为语义等价的表达式,这些表达式使用2个派生模式而不是1个原始模式(我有一个这样做的规则),然后让Volcano planner只使用2个派生模式进行优化,而不会因为安全原因而认为存在1个原始模式。
我还没有找到任何合理的例子来演示如何做到这一点,所以任何帮助都将不胜感激(请不要发布到Druid example或Apache Calcite文档网站的链接,我已经看过他们一千次了)。
发布于 2019-05-15 23:35:59
我已经设法通过使用Hook.PROGRAM和前置我的自定义程序来实现这一点,该程序在所有其他规则之前执行我的规则。
由于Hook在Calcite库中被标记为for testing and debugging only,我想说这不应该是这样做的,但目前我没有更好的方法了。
以下是代码示例的简短摘要:
public static class MultiCloudHookManager {
private static final Program PROGRAM = new MultiCloudProgram();
private static Hook.Closeable globalProgramClosable;
public static void addHook() {
if (globalProgramClosable == null) {
globalProgramClosable = Hook.PROGRAM.add(program());
}
}
private static Consumer<Holder<Program>> program() {
return prepend(PROGRAM);
}
// this doesn't have to be in the separate program
private static Consumer<Holder<Program>> prepend(Program program) {
return (holder) -> {
if (holder == null) {
throw new IllegalStateException("No program holder");
}
Program chain = holder.get();
if (chain == null) {
chain = Programs.standard();
}
holder.set(Programs.sequence(program, chain));
};
}
}然后在SchemaFactory中使用MultiCloudHookManager,您只需调用MultiCloudHookManager.addHook()方法即可。在本例中,MultiCloudHookManager.PROGRAM被设置为MultiCloudProgram,它只是在HepPlanner中执行一组规则。
有关详细信息,请参阅the source code in GitHub repository。
这个hack解决方案的灵感来自于another library。
https://stackoverflow.com/questions/56135665
复制相似问题