72_尚硅谷_Hive优化_Fetch抓取&本地模式

啊，到了我们最有用的一个，也就是说面试这块第九章里边都有面试必问。啊，面试必问啊，虽然我们说了用不用得上不一定，但是面试这块呢是必问的，而且呢，他不会问你，嗯，你这个have呢，有哪些调优方式，你给我列几条他一般的问题方式，这样你在项目当中，你在工作过程当中，有没有遇到什么问题，你是如何解决的，能听懂没，没有问题啊，一个没干过吗？干过的怎么可能没有问题呢？是个程序员怎么可能不写bug，对吧，我就加班，天天那帮学生在群里聊天，特有意思啊，说又加班，加班干什么，写bug吗？写完了之后自己调啊，然后调半天，对写bug嘛，公司里面干活再写bug，然后改改bug，好这块东西呢，我们先把整体的大家过一下，整体过一下，可能今天应该不完不完，我过到这个分区吧。啊，课到这块我看能过得多少，因为最后我们还有个题，还有个题啊，准备给大家回去呢，可以去做一做OK吧，啊第一个叫在抓取这个当时呢，我们提到过一个，因为你看这句话，我们现在新啊等等这些东西不走了，对吧？啊不走安程序，那既然讲到了一个属性呢，我们这样我把那个default那个文件给他干什么。

打开啊，这个东西呢，都不要了。这个没有用啊。给他关闭掉。啊，这个也不了课堂练习。啊，先说这也其实也没有。点开，然后这个have里边有一个Co，有一个default点开好，然后呢，我们的属性是这个内容。在这。对吧，默认是默，那我们看一下除了默还有哪些东西考FC杯搜一下默认是默没问题吧，啊默认的配置，然后除了这个之外还有呢。叫。

这不开启吧，就不开启这种抓取模式。啊，然后。跟小的还有墨这种，他说了从这种模式底下叫CC简单的过滤，对于谁的过滤啊。分区列。看到吗？对于分区列的过滤。的时候会怎么样啊？不启用任务，不启用任务那这个呢就会多一些啊，例如这个什么时间戳啊，还有其他的移啊，这个叫什么虚拟的链，就是你衍生出来的这个select，什么I加五。AB加五这种方式也什么不走M8，那我们就测一个简单的，我们就直接改成什么。闹可以吧，啊，直接把这个值改为闹。S，哎，我们先看一下它现在是什么末，没问题吧，那肯定是末对吧？等于什么等于呢？

然后我们走一个新，哈哈。那这个得封吧啊，所以说默认的早期的时候，我记得应该是一版本之前啊，应该是这个第二个第二个级别。那应该老版本的，还有应该第二个级别啊，后来呢，又更多一些全老啊，自然团老啊，这个利达都不会去走MR，那这个走MR太麻烦了，对吧？啊，因为我简单的读一个数据，所以呢，我们还是应该给他干什么。改成Mo吧，啊，这个就不要了，就改成墨啊，就赛是抓取知道一下啊，这个呢，现在也其实如果说现在聊的话啊，也算不上一个什么优化方案了，因为他默认的就是什么了。就是默了，如果对于老版本我们说把它改成默，对吧，它做到一些一定程度的一个优化啊，那这里面呢，举个几个例子，就是在多种模式下，你去看一下执行对吧？啊哪哪些走完妈哪些不走安妈啊这是一个啊在这抓取着第二个呢，叫本地模式，这个我们也用到了。

对吧？啊，你可以设置成本地啊，设置成本地，但是有一个前提啊，是不是我们设置成本地之后，他就一定会走本地的，不是的，它有前提条件的，就是来这句话看一下。它是必须要你这个数据集啊，比较小它才会。干什么？走的是local？啊，走到logo第一个，它有个这个属性，有一个你这个输入数据的一个最大值。134217718这个数据还熟吗。128兆对吧，这第一个第二个还有一个内容啊这个。默认是四个。默认是四个，也就是说你开启了logo模式，OK，但是呢，是不是我们开启logo模式一定走本地的，不一定，还要满足这两个条件，你输入的数据量要小于128兆。同时你输入数据的。

文件数目要小于等于四能听懂对吧，那这样我们做一个测试啊，现在呢，我们把这个本地模式给它开启，因为默认的本地模式是什么。不开的。这个怎么没粘上，刚才没粘贴上把这个本地模式啊，其实我们做衣服的时候是不是也用过这个内容啊，对吧？啊，那现在呢，Select的count。7FROM这个，哈哈，这张表。他走的是什么？来看一下，嗯。爱的硅谷，诶怎么没有那个叫看到了吗？我怎么看到在哪呢？啊这个这看这个就行，或者宝对吧？啊，而且呢，他应该较快，或者你看一个叫我的一个名字。

啊，叫我名字，他叫job log啊，本地的一个路径，好，那现在我们做一个事情来。哈多F杠。的AA点给他扔到哪了？哈哈，这张表。哈哈，在这吧，啊，这个里面表也太多了，对吧。那这个会。报错。AA一点。改名字能改吗？看一下它是A1对吧，好，那我再来一个。A什么2.tsd。最大值是四，那我给他扔几个，扔五个对吧，再扔四个来看一下啊，我们虽然开启了本地这个四。也就是说它这个本地有一定的先条件，这个内容好，现在底下一定有什么呢，五个文件了吧，五个文件。

看到这个了吗？他说，Cannot run叫。不能用本地的任务，因为你输入的文件数等于五个，已经超过了我这个最大值等于四对吧，也就是说假如说在市场环境当中，你要用的话，本地模式不是说简单的你去开一下本地模式这一个属性吧。还要干什么，结合着这两个属性来说，一个呢是文件大小可以改啊，可以改，这个所有的属性都能改，只要你能查出来了都能改啊，除非他有的属性默认的，他不让改的，你一定查不到，就在窗口里面一定查不到。能听懂啊，他一定会让你查到，就是你找官方文档等等有一些设置能看到，但是呢，像这种呢，你能直接通过这种方式就可以改啊，就可以改。好，这个是第二个叫这个本地模式，我们把他们俩呢。