Hi, I'm Bolo!
What would you like to know?
ASK BOLOPreview
Please to access Bolo.

Sumário

Search

  1. Prefácio
  2. Usando o Metadata Manager
  3. Configurando o Metadata Manager
  4. Recursos de Aplicativo
  5. Recursos de Glossário Comercial
  6. Recursos de Inteligência Comercial
  7. Recursos Personalizados
  8. Recursos da Integração de Dados
  9. Recursos de Modelagem de Dados
  10. Recursos de Gerenciamento de Banco de Dados
  11. Recursos universais
  12. Gerenciando Recursos
  13. Carregando e Monitorando Recursos
  14. Gerenciando Permissões
  15. Migração de Recursos
  16. Migração de Repositório
  17. Logon do Metadata Manager
  18. Arquivos de Propriedades do Metadata Manager
  19. Arquivos de Configuração de Recurso
  20. Glossário

Metadata Manager Administrator Guide

Metadata Manager Administrator Guide

Como o Metadata Manager Exibe Relacionamentos de Entidade

Como o Metadata Manager Exibe Relacionamentos de Entidade

O componente de metadados do Cloudera Navigator exibe diferentes tipos de relacionamentos de entidade em diagramas de linhagem de dados. O Metadata Manager não exibe todos esses relacionamentos em diagramas de linhagem de dados. O Metadata Manager exibe os relacionamentos de entidade de maneira diferente com base no tipo de relacionamento.
O Metadata Manager exibe os seguintes tipos de relacionamento de entidade do Cloudera de diferentes maneiras:
Relacionamentos de fluxo de dados
Um relacionamento de fluxo de dados define como os dados fluem entre os objetos de metadados. Por exemplo, uma consulta Hive usa uma instrução INSERT OVERWRITE TABLE para carregar dados em uma tabela Hive. Como os dados fluem da consulta Hive para a tabela Hive, existe um relacionamento de fluxo de dados a consulta e a tabela.
O Cloudera Navigator exibe os relacionamentos de fluxo de dados em diagramas de linhagem de dados como setas sólidas. O Metadata Manager exibe os relacionamentos de fluxo de dados como links de linhagem em diagramas de linhagem de dados e como objetos de catálogo relacionados no catálogo de metadados.
Relacionamentos lógicos-físicos
Um relacionamento lógico-físico indica que um objeto lógico é baseado em uma entidade física real. Por exemplo, uma tabela Hive é uma exibição lógica de uma entidade HDFS física.
O Cloudera Navigator exibe os relacionamentos lógicos-físicos em diagramas de linhagem de dados como linhas sólidas sem pontas de seta. O Metadata Manager exibe os relacionamentos lógicos-físicos como objetos de catálogo relacionados no catálogo de metadados.
Relacionamentos de instância
Um relacionamento de instância define uma única ocorrência de uma operação. Por exemplo, uma execução de trabalho Oozie é uma instância de um modelo de trabalho Oozie.
O Cloudera Navigator exibe os relacionamentos de instância para modelos de consulta e trabalho em uma guia separada no diagrama de linhagem de dados. O Metadata Manager exibe os relacionamentos de instância como objetos de catálogo relacionados no catálogo de metadados.
Relacionamentos de fluxo de controle
Um relacionamento de fluxo de controle coloca restrições ou condições no fluxo de dados. Por exemplo, uma consulta Hive pode conter restrições na cláusula WHERE. Ou a cláusula JOIN em uma consulta Hive pode incluir uma tabela Hive da qual nenhum dado é extraído.
O Cloudera Navigator exibe os relacionamentos do fluxo de controle nos diagramas de linhagem de dados como linhas tracejadas. O Metadata Manager ignora os relacionamentos de fluxo de controle.
Por exemplo, seu cluster Hadoop contém uma tabela de produtos Hive com colunas de preço e de custo. Ele também contém um modelo de consulta Hive com a seguinte consulta:
SELECT AVG(price - cost) AS profit FROM products JOIN order_details ON (order_details.prod_id = products.prod_id) JOIN orders ON (order_details.order_id = orders.order_id) WHERE YEAR(order_date) = 2014 AND MONTH(order_date) = 12 AND price >= 500
Nessa consulta, a instrução SELECT indica que os dados fluem da tabela de produtos para a consulta Hive. As cláusulas JOIN incluem duas tabelas Hive, order_details e pedidos, das quais nenhum dado é extraído.
O Cloudera Navigator mostra o fluxo de dados da tabela de produtos para a consulta Hive. Ele também mostra os relacionamentos de fluxo de controle entre a tabela order_details e a consulta Hive, e entre a tabela de pedidos e a consulta Hive.
O Metadata Manager também mostra o fluxo de dados da tabela de produtos para a consulta Hive. No entanto, o Metadata Manager não mostra relacionamentos entre as tabelas order_details e pedidos e a consulta Hive.
Para exibir o tipo de relacionamento entre as entidades em um diagrama de linhagem de dados do Cloudera Navigator, faça download e exiba o arquivo JSON da linhagem.