Hi, I'm Bolo!
What would you like to know?
ASK BOLOPreview
Please to access Bolo.

Sumário

Search

  1. Prefácio
  2. Usando o Metadata Manager
  3. Configurando o Metadata Manager
  4. Recursos de Aplicativo
  5. Recursos de Glossário Comercial
  6. Recursos de Inteligência Comercial
  7. Recursos Personalizados
  8. Recursos da Integração de Dados
  9. Recursos de Modelagem de Dados
  10. Recursos de Gerenciamento de Banco de Dados
  11. Recursos universais
  12. Gerenciando Recursos
  13. Carregando e Monitorando Recursos
  14. Gerenciando Permissões
  15. Migração de Recursos
  16. Migração de Repositório
  17. Logon do Metadata Manager
  18. Arquivos de Propriedades do Metadata Manager
  19. Arquivos de Configuração de Recurso
  20. Glossário

Metadata Manager Administrator Guide

Metadata Manager Administrator Guide

Carregamento Incremental para Recursos do Cloudera Navigator

Carregamento Incremental para Recursos do Cloudera Navigator

Na primeira vez que você carrega um recurso do Cloudera Navigator, o Metadata Manager executa um carregamento completo de metadados. Você pode configurar o Metadata Manager para executar os carregamentos subsequentes de forma incremental.
Por padrão, um carregamento completo extrai todas as entidades, exceto os modelos de consulta Hive e Impala filtrados e as entidades excluídas pela consulta de pesquisa. O carregamento incremental faz com que o Metadata Manager carregue as alterações recentes dos metadados, em vez de carregar metadados completos.
O carregamento incremental reduz o tempo necessário para carregar o recurso porque o Metadata Manager extrai menos entidades.
Durante um carregamento incremental, o Metadata Manager extrai apenas as seguintes entidades:
  • Entidades HDFS criadas ou alteradas desde o carregamento de recursos anterior
  • As tabelas Pig criadas ou alteradas após o carregamento de recursos anterior
  • Todas as tabelas, exibições e partições do Hive
  • As execuções de operação criadas após o carregamento de recursos anterior
  • Todos os modelos relacionados às novas execuções de operação
Use a propriedade de conexão
Ativar carregamento incremental
para ativar ou desativar o carregamento incremental para recursos do Cloudera Navigator.
Mesmo que você ative o carregamento incremental, um carregamento de metadados completo ocorre nas seguintes circunstâncias:
  • O recurso é limpo.
  • Você cancela o primeiro carregamento do recurso antes do início da tarefa ETL.
  • O primeiro carregamento do recurso falha.
  • O administrador do Cloudera invoca uma operação de limpeza no Cloudera Navigator após o último carregamento de metadados bem-sucedido no Metadata Manager.