.NET com Apache Spark

Olá, pessoal! Este final de semana tive a honra de participar de uma live no canal DX Lab para falar um pouco sobre Apache Spark e como podemos utilizar .NET com essa ferramenta. Sim, não é apenas de Scala e Python que vive essa plataforma de processamento distribuído que é o Spark!

No vídeo, comentamos um pouco dos cenários de uso onde o Spark nos auxilia, um pouco da sua arquitetura e demonstramos dois exemplos de uso: um para processamento batch (ETL) e outro para processamento de fluxo contínuo de eventos (streaming).

[]'s

Comentários

Postar um comentário

Postagens mais visitadas deste blog

Trocando configurações padrão do Live TIM

Imagem
UPDATE (Agosto/2019): Já faz um tempo que eu coloquei este post e ele é o mais visitado do meu blog. Por isso, acho importante relatar a péssima experiência que eu vinha tendo com a TIM. Se quiser ver o conteúdo original, ele está logo abaixo, mas logo depois estão os detalhes dessa atualização. Início do conteúdo original Hoje trocamos aqui em casa a Internet para o Live TIM. A primeira coisa que fiz foi trocar as senhas, pois por padrão a rede wireless se chama LIVE TIM, com senha 12345678. Não estou muito a fim de compartilhar minha conexão com outras pessoas. Para fazer isso, conectei na página de administração do modem (ZXDSL 931WII), cujo endereço (pelo menos para mim) foi  http://192.168.1.1/ . O usuário e senha padrões são admin / admin . Este também é bom trocar (no menu, Administration > User Management). O nome da rede troquei no menu Network > WLAN > SSID Settings (campo SSID Name). Já a senha da rede foi trocada em Network > WLAN > Securi
Leia mais

Testes automatizados em sistemas autenticados com certificados digitais, usando Selenium e PhantomJS

Imagem
A automatização de testes é uma disciplina muito importante hoje em dia. Entre várias técnicas e ferramentas diferentes, uma das que podemos utilizar para termos um conjunto de testes funcionais que possam ser facilmente repetidos é o Selenium. O Selenium é uma ferramenta que permite que a execução de passos que uma pessoa faria em um browser web (Chrome, Edge, etc.) possa ser programada. Com isso, toda vez que for necessária a validação de uma nova versão de sistema ou correção, este grupo de testes pode ser rodado de forma automática. Ainda falando sobre a execução do Selenium, ele trabalha criando uma instância do respectivo browser e enviando comandos para ele. Dessa forma é feita a simulação de preenchimento de caixas de texto, cliques em botões, etc. Quando um teste automatizado com Selenium é rodado, pode-se ver todo o teste acontecendo. Entretanto, há um problema nesta abordagem. Caso a sessão do usuário que está executando os testes seja bloqueada, o Selenium não consegue
Leia mais

Uma proposta de Clean Architecure com Modelo de Atores

Imagem
Hoje eu trago uma proposta de artigo que é um exercício onde juntei dois conceitos bem legais no desenvolvimento de software: a arquitetura no estilo Clean Architecture e o modelo de atores! Eu pensei em escrever esse artigo baseado num estudo de como utilizar esses dois assuntos que eu fiz e que está disponível no meu GitHub:  https://github.com/fabiogouw/OrleansBank   Minha proposta é que este seja o primeiro artigo de uma série onde eu vou evoluindo essa aplicação de exemplo, melhorando o código e resolvendo problemas que vão surgindo, sejam eles técnicos ou mesmo conceituais. Benefícios e premissas Antes de seguirmos com este exercício, faz sentido relembrarmos os benefícios e premissas do clean architecture e do modelo de atores. Também vale citar que não são conceitos que se excluem, são coisas bem diferentes! Por que Clean Architecture? Os modelos de arquitetura como o Clean Architecture, do Uncle Bob, o Hexagonal, do Alistair Cockburn ou o Onion do Jeffrey Palermo seguem todos
Leia mais