I nostri progetti attuali
Abbiamo raccolto per voi progetti nei settori della migrazione dei dati, dell’amministrazione di database e del Data Engineering & Data Science.
Sottoprogetto acquisizione dati migrazione ERP
Acquisizione di dati dal sistema ERP esistente, sviluppato internamente, a Microsoft Dynamics365 (Finance & Operations).
• Analisi delle strutture dati esistenti nel sistema di origine (database Oracle, Azure VM)
• Definizione dei mapping di entità/campi (struttura di destinazione predefinita da MS D365)
• Trasformazione delle informazioni dagli attuali nei nuovi flussi di processo
• Ricodifica di campi/tabelle di codice
• Esportazione dei dati in Excel (specifica D365)
• Importazione nelle strutture di destinazione tramite Data Management Framework di D365 (Azure)
Progetti precedenti
Abbiamo preparato una selezione dai vari settori per darvi una panoramica della nostra esperienza.
Migrazione dei dati
Consolidamento del datacenter
Migrazione dei database MS SQL Server dai tre data center on-premise al cloud privato.
• 36 istanze di SQL Server, circa 150 database.
• Dimensioni DB da 2 GB a 21 TB
• Aggiornamento della versione da 2008r2 / 2012 a 2016
• Concetto di autorizzazione completamente nuovo
• Riconfigurazione dei sistemi ETL
• Migrazione in 2 fine settimana senza interruzioni dei percorsi ETL
• Durata del progetto 7 mesi
Coordinamento completo ed esecuzione tecnica delle migrazioni di oltre 40 server MSSQL e oltre 150 database all’ultima versione.
L’obiettivo era rendere l’infrastruttura di database a prova di futuro, ottimizzare le prestazioni e aumentare la sicurezza.
I compiti principali includevano:
• Inventario e analisi
• Analisi completa del panorama MSSQL Server esistente, inclusa l’identificazione di sistemi obsoleti, dipendenze e database critici
• Elaborazione di un piano di migrazione dettagliato basato sui requisiti specifici dei sistemi e delle applicazioni
• Pianificazione di un concetto di migrazione per una transizione senza problemi e per garantire tempi di inattività minimi
• Implementazione tecnica:
• Esecuzione delle migrazioni incluse le fasi di test e convalida
• Implementazione di nuove funzionalità di sicurezza e ottimizzazioni delle prestazioni
• Stretta collaborazione con vari dipartimenti specializzati per garantire che tutti i requisiti funzionali e operativi siano soddisfatti
• Esecuzione di test dopo la migrazione per verificare la funzionalità e le prestazioni
Sviluppo di un framework di migrazione dei dati
Per il produttore di un sistema Point of Sales ampiamente utilizzato nel settore sanitario, è stato sviluppato un framework per la migrazione dei dati da sistemi di terze parti (interni ed esterni).
I seguenti requisiti dovevano essere soddisfatti
• Industrializzazione dell’acquisizione dei dati
• Tracciabilità al sistema di origine
• Supporto di vari sistemi di origine
• Supporto di vari formati di origine (DBMS, basato su file)
• Possibilità di controlli di qualità dei dati
• Capacità multi-tenant
Sostituzione di MS Dynamics 4.0
Nel corso della sostituzione di un sistema MS Dynamics 4.0 CRM con un nuovo sistema CRM sviluppato internamente, l’acquisizione e l’integrazione dei dati del nuovo sistema dovevano essere sviluppate nella fase finale del progetto.
Ciò ha presentato le seguenti sfide:
• finestra temporale molto stretta per l’implementazione di sole 10 settimane
• ripetuti rinvii del GoLife
• Documentazione mancante del sistema di origine, della quantità di dati da migrare e del modello di dati del sistema di destinazione
• Il sistema di destinazione è stato continuamente sviluppato in un Release Candidate
• Integrazione nei sistemi periferici esistenti, inclusa l’assegnazione di aree di clienti esistenti e di destinazione ai dipendenti del servizio esterno
• Funzionamento parallelo di entrambi i prodotti CRM
Amministrazione del database
Sviluppo di un modulo PowerShell completo per automatizzare tutte le attività amministrative relative a MSSQL Server.
L’obiettivo di questo progetto era automatizzare, standardizzare, aumentare l’efficienza e ridurre al minimo gli errori umani nelle attività amministrative ricorrenti relative ai server MSSQL. Il modulo PowerShell sviluppato è stato utilizzato sia per la configurazione iniziale di nuove istanze MSSQL sia per il funzionamento continuo. Comprende una varietà di processi automatizzati in diverse aree della gestione del database.
Le funzioni principali del modulo includono:
• Richiesta di informazioni: recupero di informazioni dettagliate su database e istanze
• Crittografia del database: attivazione e disattivazione della crittografia del database
• Gestione dei backup: creazione automatizzata di backup per i database
• Gestione della configurazione: configurazione e ottimizzazione delle impostazioni del database in conformità con gli standard operativi specificati
• Migrazione del database: esecuzione di migrazioni del database tra istanze
• Gestione del database: creazione ed eliminazione di database
• Aggiornamenti SQL: esecuzione di aggiornamenti SQL su una o più istanze
Implementando questo modulo, i processi amministrativi potrebbero essere accelerati e standardizzati in modo significativo, il che consente di risparmiare tempo e risorse e riduce significativamente il tasso di errore.
Data Engineering & Data Science
Ottimizzazione di un modello di machine learning esistente per la previsione della logistica sulla base dei dati meteorologici.
Il modello originale, sviluppato in R e Python, mostrava precisioni del 60-80% e richiedeva un’accurata revisione e adattamento. La preparazione dei dati è stata completamente rivista in Python, sono state eseguite aggregazioni, arricchimenti e pulizie e sono state rimosse le caratteristiche irrilevanti per rendere il modello più snello e preciso. Inoltre, la suddivisione dei dati è stata ottimizzata per ottenere una distribuzione dei dati più equilibrata. Con modifiche mirate del classificatore e dei parametri, l’accuratezza della previsione è stata aumentata a oltre il 90%, creando così una base molto più precisa per i processi decisionali.