impala参数之‘impala.disableHmsSync‘=‘true‘ 参考文章 https://cloud.tencent.com/developer/article/2007738impala官方文档https://impala.apache.org/docs/build/impala-3.4.pdfhttps://impala.apache.org/docs/build/impala-3.4.pdf第657-658页这个参数什么用顾名思义就是禁止hms数据同步具体表现是什么呢为什么要设置呢该怎么设置呢。一起学习下。首先我们要了解impala和hive的关系简单来说impala只是一个数据读取和处理的工具具体就是读取hdfs表目录下的文件放到内存里解析(个人理解)。这里存在一个什么问题呢理论上hive里所有的表和数据都可以通过impala去读取因为impala基于内存的读取的非常快但同时页很消耗内存关键是hive的元数据信息不一定及时同步到impala1.为什么设置这个参数因为不是所有的表都需要通过impala的大部分是一些结果表每天更新的一些维表需要作为报表每天都会有数据更新这种数据才是真的impala处理的。大部份表其实都不需要比如你新建了一个test表只是自己在hive坐下测试根本不需要通过impala实时查询。但问题的关键就在于这里impala默认读取所有的表表的数据越来越多有时候会读取就会出现问题所以解决。直接开测CREATE DATABASE odsccdata WITH DBPROPERTIES (impala.disableHmsSynctrue);desc database extended odsccdataCREATE DATABASE cc_testdesc database extended cc_test建表create table odsccdata.test1(id int )create table cc_test.test1(id int )impala查询select * from cc_test.test1 -- 直接查看select * from cc_test.test1 -- 无法查看invalidate metadata odsccdata.test1 --手动刷新select * from odsccdata.test1上面的实验可以看到 如果我们将db设置为disablehmssync之后所建的表不会被impala采集信息了需要手动去刷新这样减少了impala的工作量肯定能提高效率。还有的参数可以设置hms_event_polling_interval_s 设置这个间隔 官方建议设置小于5shms_event_polling_interval_s flag set to a positive integer to enable the feature and set the pollingfrequency in seconds. We recommend the value to be less than 5 seconds