Carregamento Incremental para Recursos do Cloudera Navigator
Carregamento Incremental para Recursos do Cloudera Navigator
Na primeira vez que você carrega um recurso do Cloudera Navigator, o Metadata Manager executa um carregamento completo de metadados. Você pode configurar o Metadata Manager para executar os carregamentos subsequentes de forma incremental.
Por padrão, um carregamento completo extrai todas as entidades, exceto os modelos de consulta Hive e Impala filtrados e as entidades excluídas pela consulta de pesquisa. O carregamento incremental faz com que o Metadata Manager carregue as alterações recentes dos metadados, em vez de carregar metadados completos.
O carregamento incremental reduz o tempo necessário para carregar o recurso porque o Metadata Manager extrai menos entidades.
Durante um carregamento incremental, o Metadata Manager extrai apenas as seguintes entidades:
Entidades HDFS criadas ou alteradas desde o carregamento de recursos anterior
As tabelas Pig criadas ou alteradas após o carregamento de recursos anterior
Todas as tabelas, exibições e partições do Hive
As execuções de operação criadas após o carregamento de recursos anterior
Todos os modelos relacionados às novas execuções de operação
Use a propriedade de conexão
Ativar carregamento incremental
para ativar ou desativar o carregamento incremental para recursos do Cloudera Navigator.
Mesmo que você ative o carregamento incremental, um carregamento de metadados completo ocorre nas seguintes circunstâncias:
O recurso é limpo.
Você cancela o primeiro carregamento do recurso antes do início da tarefa ETL.
O primeiro carregamento do recurso falha.
O administrador do Cloudera invoca uma operação de limpeza no Cloudera Navigator após o último carregamento de metadados bem-sucedido no Metadata Manager.