Pentaho Data Integration – Get System Info

Publicado ontem no canal TINaVeia mais um vídeo sobre Pentaho Data Integration. O foco desse vídeo é o Step “Get System Info”, nele podemos obter informações da máquina na qual o ETL está executanto. Abaixo segue o vídeo:

Advertisements

Início do Canal no Youtube

Pessoal estou iniciando um canal no Youtube de nome TiNaVeia, publiquei apenas um vídeo, queria ver como o negocio funcionava.

Nesse canal vou publicar vídeos técnicos em várias ferramentas tecnológicas, principalmente voltadas para área de Analise de Dados e seus derivados. Em breve venho como mais noticias.

Nesse vídeo faço uma breve introdução ao Tableau, demonstrando como se conectar a um arquivo CSV.

Segue abaixo link do primeiro vídeo.

Suas metas são realmente importantes? Faça o teste!

Atualmente estou lendo o livro “Metas que Desafiam” e nele encontrei um teste para saber o quão importante é a meta que temos, o teste é bem simples basta responder cada pergunta listada abaixo com uma nota de 1 a 7 sendo 7 a melhor nota.

  1. Algo dentro de mim continua me empurrando para atingir essa meta, mesmo quando há obstáculos no caminho.
  2. Quando penso nessa meta, sinto emoções muito fortes.
  3. Mentalmente, essa meta já é minha, não pertence a meu chefe, conjugue, médico ou qualquer outro. Mesmo que alguém inicialmente tenha me dado a ideia, ela é 100% minha agora, ela é minha de corpo e alma.
  4. Minha meta está retratada de forma tão vivida em minha mente que sou capaz de dizer exatamente o que vejo, ouço e sinto no momento exato em que meu objetivo é alcançado.
  5. Uso muitos recursos visuais para descrever minha meta (como imagens, fotos, desenhos ou imagens mentais).
  6. Minha meta pode ser tão vividamente explicada por escrito que eu poderia, literalmente, mostrar para as outras pessoas e elas saberiam exatamente o que quero realizar.
  7. Sinto um sentido de urgência tão intenso em atingir minha meta que adiá-la ou até mesmo posterga-la por um dia não seria uma opção.
  8. Mesmo que todos os benefícios de realizar minha meta estejam distantes, ainda assim recebo os benefícios agora, enquanto minha busca por essa meta ainda está em processo.
  9. A compensação por atingir essa meta supera de longe os custos com os quais tenho de arcar agora.
  10. Vou precisar aprender novas habilidades antes de ser capaz de realizar essa meta.
  11. Essa meta me força a sair da minha zona de conforto; não me sinto imobilizado de terror, mas estou definitivamente ansioso e desperto por essa meta.
  12. Quando penso sobre as maiores e mais significantes realizações ao longo da minha vida, essa meta atual é tão difícil como aquelas outras.

Pontuação

Some seus pontos para os itens 1 a 3. Esta é a sua pontuação para a sinceridade.

Some seus pontos para os itens 4 a 6. Esta é a sua pontuação para a animação.

Some seus pontos para os itens 7 a 9. Esta é a sua pontuação para a necessidade.

Some seus pontos para os itens 10 a 12. Esta é a sua pontuação para a dificuldade.

De acordo com soma de cada grupo a pontuação deverá entrar numa zona, o ideal que é nenhum grupo entre na zona de alerta vermelho pois isso caracteriza que a sua meta não é tão importante ou você não está tão engajado. Bem eu meio que utilizei o teste para classificar minhas metas e assim poder focar nas mais importantes.

 

 

 

 

 

 

 

 

 

Fonte: Metas que desafiam de Mark Murphy. Editora Clio.

PostgreSQL versão 10

Foi lançado no dia 18/05/2017 a versão 10 Beta 1 Released do PostgreSQL. A versão final está prevista para Setembro/2017. Listo abaixo os principais pontos que sofreram alterações em relação a versão anterior.

  • Consultas paralelas usando btree;
  • Índices de hash;
  • Bloqueios referentes a permissões;
  • Otimizador;
  • Monitoramento;
  • Estatísticas;
  • Autenticação;
  • Novos tipos de dados;
  • Replicação e recuperação;

Para maiores detalhes basta consulta o link referente ao Release Notes da versão.

https://www.postgresql.org/docs/10/static/release-10.html

Dicas sobre Vacuum no Postgres

O Vacuum limpa e opcionalmente analisa um banco de dados e recupera a área de armazenamento ocupada pelos registros excluídos. Na operação normal do Postgres os registros excluídos ou tornados obsoletos por causa de uma atualização não são fisicamente removidos das tabelas, permanecem presentes até o comando Vacuum ser executado. Portanto é necessário executar o comando Vacuum periodicamente, especialmente em tabelas frequentemente atualizadas, sem nenhum parâmetro o Vacuum processa todas as tabelas do banco de dados correntes.

O comando Vacuum Analyze executa o Vacuum e depois o Analyze para cada tabela selecionada, esta é uma forma de combinação útil para scripts de rotinas de manutenção. O Analyze atualiza as estatísticas utilizadas pelo planejador para determinar o modo mais eficiente de executar um comando.

O comando Vacuum simples (sem o Full) apenas recupera o espaço, tornando-o disponível para ser reutilizado. Esta forma do comando pode operar em paralelo com a leitura e escrita normal da tabela, porque não é obtido um bloqueio exclusivo. O Vacuum Full executa um processamento mais extenso, incluindo a movimentação das tuplas entre blocos para tentar compactar a tabela no menor número de blocos de disco possível, esta forma é muito mais lenta e requer bloqueio exclusivo de cada tabela enquanto está sendo processada.

Por último temos a opção do Freeze, que seleciona um congelamento agressivo das tuplas, esta opção não é muito recomendada e é provável que seja retirada de futuras versões do Postgres.

Sistema de Apoio à Decisão


De acordo com (HEINRICHS, 2003), para competir no mercado global de hoje, as empresas precisam deter mais conhecimento do que antigamente e, ainda, para obter sucesso, elas precisam saber mais sobre seus clientes, mercados, tecnologias e processos, e precisam ter essas informações antes que seus concorrentes.

Para uma tomada de decisão é necessário ter em mãos informações estratégicas e, tendo em vista esse princípio, as empresas começaram a extrair dados dos seus sistemas operacionais e armazená-los, separados dos dados operacionais, donde surgiram os Sistemas de Apoio à Decisão. Esses sistemas são soluções computacionais desenvolvidas para apoiar a tomada de decisões complexas durante a resolução de problemas. Ferramentas clássicas de Sistemas de Apoio à Decisão compreendem componentes para gerenciamento de banco de dados sofisticados com poderosas funções de modelagem e projetos de interface com o usuário permitem trabalhar interativamente com questões, relatórios e funções gráficas.

Segundo (BIDGOLE, 1989) as decisões são classificadas em:

  • Decisão estruturada: apresenta procedimento operacional padrão, bem definido e claramente projetado. Este tipo de decisão conta com sistemas de informação relativamente fáceis de definir, programáveis, baseados em lógica clássica, fatos e resultados bem definidos, horizonte de tempo pequeno, rotinas repetitivas e voltados para baixos níveis da organização;
  • Decisão semi-estruturada: não é totalmente bem definida, porém incluem aspectos de estruturação; podem em grande parte contar com apoio dos sistemas de informação;
  • Decisão não-estruturada: não apresentam qualquer padrão de procedimento operacional, não se repetem. No tocante aos sistemas de informação, estes podem apenas apoiar ao decisor, o qual precisa contar fortemente com sua intuição, experiência etc. São difíceis de formalizar, envolvem heurística, tentativa e erro, senso comum em adição à lógica, horizonte de tempo longo, raramente replica decisões prévias e voltados para os níveis intermediários e alta gerência.

Um sistema de apoio à decisão possui como arquitetura básica dados, modelo e usuário. Conforme (SPRAGUE & WATSON, 1991) são identificados três níveis de tecnologia necessárias em um ambiente de sistema de apoio à decisão, conforme demonstrado na Figura 1.

Figura 1 – Tecnologias dos SADs


Fonte: BIDGOLI (1989)

  • SAD Especifico: é o sistema em si, combinação de hardware e software usada para apoio à decisão de uma operação especifica;
  • Gerador de SAD: combinação de software e hardware utilizado para desenvolver um SAD Especifico;
  • Ferramentas de SAD: hardware e software usados para desenvolver um SAD Especifico ou um Gerador de SAD.

O processo de tomada de decisão pode ser traduzido como uma sequência de tarefas que envolvem uma grande quantidade de informação com relacionamentos complexos entre si, os Sistemas de Apoio a Decisão tem ênfase na simulação e exploração de dados, com o objetivo de dar suporte às decisões de simulação e exploração de dados. De acordo com (ALTER, 1980) os Sistemas de Apoio à Decisão são classificados em:

  • Sistemas de análise de informações: provêm acesso a uma série de dados orientados a decisão e pequenos modelos para prover informação gerencial, possibilitando a análise através do uso de dados internos. Podem ainda, a partir de dados do passado, gerar previsões para períodos futuros;
  • Modelos de contas: calculam a consequência de ações planejadas sobre a base de definições de contas, em geral, geram estimativas baseadas em variações das entradas nas fórmulas das contas;
  • Modelos de representação: incluem modelos de simulação que estimam a consequência de ações sobre a base de modelos, tais como probabilidades de ocorrências;
  • Modelos de otimização: oferecem linhas de ação para uma solução ótima, considerando as restrições necessárias;
  • Modelos de sugestão: consideram uma sugestão específica para uma decisão, substituindo procedimentos menos eficientes

Essas categorias possuem dois agrupamentos, onde os três primeiros itens pertencem aos sistemas orientados a dados e os demais itens pertencem aos sistemas orientados a modelos. Segundo (BIDGOLI, 1989) à medida em que os usuários começarem a aceitar os conceitos de um Sistema de Apoio à Decisão e a utilizar todos os recursos de sua organização para estimular o aprendizado acerca dos problemas e suas soluções os Sistemas de Apoio à Decisão se tornarão mais efetivos e frequentes.

REFERÊNCIAS

BIDGOLI, H. Decision Support System – Principles and Practice, West Publishing Company, New York, 1989.

HEINRICHS, J.H. and Lim, J. (2003), Integrating web-based data mining tools with business models for knowledge management, Decision Support Systems, Vol. 35 No. 1, pp. 103-12.

SPRAGUE, Jr., WATSON, Hugh J. Sistema de apoio à decisão: Colocando a teoria em prática. Rio de Janeiro: Campus, 1991.