Valentine Gogichashvili
Head Data Engineering in Zalando

28 Giugno 2016

Track in Inglese
Track in Italiano

Ore 09,15: Data Integration nel mondo dei Microservice – Sala Leonardo

  45 minuti
  

Dal suo lancio nel 2008, Zalando è cresciuta con enorme velocità. La strada da startup a multinazionale è stata piena di sfide, in particolare per il team IT di Zalando. Distribuito tra Berlino, Helsinki, Dublino, Amburgo e Dortmund – con circa 1000 professionisti – il dipartimento IT di  Zalando è in continua espansione, prevedendo un incremento di altri 1.000 sviluppatori per la fine del 2016.

Questa rapida crescita ha portato in evidenza la nostra necessità di essere flessibili nei processi di sviluppo e nelle strutture organizzative, per permetterci di proseguire nella nostra crescita e nella sperimentazione. Nel marzo 2015, il nostro team ha adottato Radical Agility: un approccio di gestione di progetti che enfatizza l’Autonomia, lo Scopo e le Capacità, con la Fiducia che fa da collante.

Per rendere possibile l’autonomia, i vari team possono scegliere gli stack tecnologici per i prodotti da loro gestiti. La tecnologia dei microservice, che parlano fra loro utilizzano API RESTful, promette di ridurre al minimo i costi di integrazione tra team autonomi. Un piccolo problema: abbiamo i microservice isolati in singoli account AWS utilizzando la nostra piattaforma Platform as a Service (STUPS.io). Questo incoraggia i nostri team a mantenere i propri dati locali. In questo ambiente, la costruzione di un processo ETL per le analisi dei dati e loro integrazione diventa impegnativa, specialmente quando questi provengono da servizi diversi.

Le nuove funzionalità di replica logica di PostgreSQL, tuttavia, rendono possibile la comunicazione di tutte le modifiche ai dati al sistema di integrazione, anche se questi sono di database isolati. In questo modo è possibile raccoglierli, nonostante siano rappresentati in forme diverse, e prepararli per l’analisi.

In questo talk, vorrei parlare del prototipo open-source di raccolta dati, che usa la replica logica per raccoglierli da vari DB PostgreSQL e li ricrea in diversi formati e sistemi (ad esempio Data Lake, Operational Data Store, e sistemi KPI e processi automatici di monitoraggio).
Il pubblico acquisirà  nuove idee su come utilizzare la replica logica di PostgreSQL in una piattaforma basata sui microservice.