DATA QUALITY

Oportunidades de melhoria da qualidade dos dados

O Data Quality assegura o tratamento prévio de dados que permite a otimização da sua utilização seja por via de correção ou pela reorganização dos mesmos.

Qualidade nos dados, qualidade na informação

A normalização de dados, de acordo com os requisitos estabelecidos pelos utilizadores, é uma atividade cada vez mais critica para a gestão de um negócio.

A existência de um processo de avaliação de qualidade dos dados é fundamental tanto para permitir cruzamento de diferentes fontes (uniformização de expressões) como para assegurar que as análises e segmentações são rigorosas (identificação de inválidos ou duplicados).

Mesmo numa base de dados simples, um processo deste tipo permite encontrar outliers, registos duplicados, lacunas de informação ou incoerências. Podem parecer pormenores, mas poderão ter grande impacto no resultado final.

Adicionalmente, trabalhos preparatórios como uniformização de expressões ou ordenação podem ter grande impacto em processos operacionais posteriores (por exemplo para efeitos de otimização de custos de expedição quando o correio é entregue aos operadores de correio de uma determinada forma).

Ao iniciar um processo de Data Quality seguimos os seguintes passos:

R

Recolha de requisitos:

Deve ser claro o objetivo da análise ou do processo de forma a definir os requisitos que os dados devem cumprir.

R

Identificação do perfil dos dados:

Examinamos cuidadosamente os seguintes aspetos dos dados: formato, padrões, consistência de registos, distribuições de valores e outliers e se os registos estão completos.

R

Identificação de fluxos associados:

Para que são utilizados, em que ferramentas, que cruzamentos existirão, onde estão disponíveis para atualização e por quem e que processos existem associados à atualização.

R

Implementação:

Além da criação de regras e validações em conformidade com a informação recolhida nos passos anteriores, asseguramos:

$

A integridade: A utilização de chaves primárias e estrangeiras assume um papel crucial no caso de bases relacionais, em situações de múltiplos sistemas não relacionados asseguramos a existência de validação de condições adicionais ao formato (check constraint) e utilização de mecanismos desencadeados por ações específicas (triggers).

$

A rastreabilidade: Sempre que um problema é detetado num registo, garantimos que é possível identificar rapidamente a sua origem e corrigir.

$

A completude: Caso seja necessário o processo poderá incluir cruzamento com fontes de dados externas, enriquecendo os dados e gerando informação de grande potencial.