Use as seguintes regras e diretrizes ao atualizar a consulta de pesquisa:
A consulta inserida deve usar uma sintaxe de pesquisa válida do Cloudera Navigator.
Para obter informações sobre sintaxe de pesquisa de metadados do Cloudera, consulte a documentação do Cloudera. O Metadata Manager não valida a sintaxe de pesquisa.
Para validar a sintaxe de pesquisa, clique em
Testar Conexão
. Se a consulta de pesquisa não for válida, será exibida uma mensagem de erro. Você também pode executar a pesquisa no Cloudera Navigator antes de atualizar a consulta de pesquisa no Metadata Manager.
Antes de excluir um diretório de HDFS, verifique se não há arquivos no diretório ou em seus subdiretórios usados no fluxo de dados.
Se você excluir qualquer entidade HDFS usada em um fluxo de dados, links de linhagem podem ser interrompidos. Por exemplo, a distribuição Cloudera contém um modelo de trabalho Pig que grava arquivos temporários no diretório
/tmp
e os arquivos temporários são usados como entradas para outro modelo de trabalho Pig. Quando você executa a linhagem de dados, o Metadata Manager mostra links de linhagem entre o modelo de trabalho Pig upstream e os arquivos temporários, e entre os arquivos temporários e o modelo de trabalho Pig downstream. Se você excluir o diretório
/tmp
do carregamento de metadados, o Metadata Manager não mostrará nenhum link de linhagem entre os dois modelos de trabalho Pig.
Limpe o recurso após atualizar a consulta de pesquisa.
Para extrair metadados de um cluster Cloudera Hadoop, o Serviço do Metadata Manager cria arquivos temporários na máquina onde o Serviço do Metadata Manager é executado. O Serviço do Metadata Manager usa os arquivos temporários para criar os arquivos IME que extraem metadados do cluster do Hadoop. Esses arquivos permanecem no servidor até você limpar o recurso.
O conteúdo dos arquivos temporários varia de acordo com a consulta de pesquisa. Se você não limpar o recurso após alterar a consulta de pesquisa, o Metadata Manager adicionará os resultados da pesquisa da nova consulta aos arquivos temporários, mas não excluirá o conteúdo da consulta anterior. Isso pode causar resultados de pesquisa imprevisíveis, especialmente quando a nova consulta de pesquisa extrair menos objetos do que a consulta anterior.
Por exemplo, você atualiza a consulta de pesquisa padrão para excluir o diretório HDFS
/user/test
. Se você não recarregar o recurso, os arquivos temporários relacionados à consulta padrão permanecerão no servidor. O Metadata Manager ainda extrai entidades de
/user/test
porque a consulta padrão não excluiu esse diretório do carregamento de metadados.
Para excluir os arquivos temporários, limpe o recurso. Na próxima vez que você carregar o recurso, o Metadata Manager criará novos arquivos temporários e extrairá metadados com base apenas na nova consulta de pesquisa.
Você pode incluir todas as entidades no carregamento de metadados.
Para incluir todas as entidades no carregamento de metadados, substitua a consulta de pesquisa padrão por um asterisco (
*
) ou exclua a consulta padrão e deixe a propriedade
Consulta de Pesquisa
em branco.
Não exclua todas as entidades HDFS inserindo um caractere curinga no caminho do sistema de arquivos.
Não insira um caractere curinga no caminho do sistema de arquivos para excluir todas as entidades HDFS. Se você tentar excluir todas as entidades HDFS inserindo um caractere curinga no caminho do sistema de arquivos, o Metadata Manager excluirá todas as entidades que possuem a propriedade fileSystemPath.
Por exemplo, insira a seguinte consulta de pesquisa para excluir todas as entidades HDFS:
NOT (fileSystemPath:*)
Se você digitar essa consulta, o Metadata Manager excluirá todas as entidades HDFS. No entanto, como as tabelas do Hive, partições do Hive e tabelas Pig têm a propriedade fileSystemPath, o Metadata Manager também exclui esses tipos de entidades.