Cos’è il DAF¶

Il Data & Analytics Framework (DAF) è una delle attività atte a valorizzare il patrimonio informativo pubblico nazionale approvata dal Governo italiano nell’ambito del Piano Triennale per l’Informatica nella PA 2017-2019. L’obiettivo principale del DAF è di abbattere le barriere esistenti nell’interscambio dei dati pubblici tra PA e promuoverne l’utilizzo a supporto del decision making pubblico, ottimizzare i processi di analisi dati e generazione di sapere, standardizzare e promuovere la diffusione degli open data, promuovere e supportare iniziative di ricerca scentifica favorendo la collaborazione con Università ed enti di ricerca.

Il DAF si compone di:

• Una Piattaforma Big Data costituita da un data lake, un insieme di data engine e strumenti per la comunicazione dei dati.
  • Nel data lake vengono memorizzati, nel rispetto delle normative in materia di protezione dei dati personali, dati di potenziale interesse quali, ad esempio: le basi di dati che le PA generano per svolgere il proprio mandato istituzionale; i dati generati dai sistemi informatici delle Pubbliche Amministrazioni come log e dati di utilizzo che non rientrano nella definizione precedente; i dati autorizzati provenienti dal web e dai social network di potenziale interesse della Pubblica Amministrazione;
  • big data engine utile ad armonizzare ed elaborare, sia in modalità batch che real-time, i dati grezzi memorizzati nel data lake e a implementare modelli di machine learning;
  • strumenti per l’interscambio dei dati, utili a favorire la fruizione dei dati elaborati da parte dei soggetti interessati, anche attraverso API che espongono dati e funzionalità ad applicazioni terze;
  • strumenti di analisi e visualizzazione dei dati offerti in modalità self-service agli utilizzatori del DAF.
• Un Dataportal, che rappresenta l’interfaccia utente per l’utilizzo delle funzionalità implementate nel DAF. In particolare, il dataportal si compone di:
  • un catalogo dei dataset basato su CKAN, che gestisce i metadati relativi sia ai dati contenuti nel DAF che agli open data harvestati dai siti delle PA;
  • interfacce utente per accedere ai tool di analisi e data visualization menzionati sopra;
  • un modulo riservato alle PA per gestire il processo di ingestion e gestione dei dati e metadati nel DAF;
  • un modulo per data stories, attraverso il quale gli utenti possono pubblicare le proprie analisi e collaborare con altri utenti.
• Da un team di esperti di dati, composto da data scientist, data engineer e big data architect che provvedono al disegno e all’evoluzione concettuale della piattaforma big data, alla costruzione di modelli di interconnessione delle diverse sorgenti dati, all’analisi dei dati, allo sviluppo di modelli di machine learning, al coordinamento dello sviluppo di data application e all’incentivazione della ricerca scientifica su tematiche di interesse per la PA.

Si rimanda al capitolo 9 del Piano Triennale per maggiori informazioni.

A chi si rivolge¶

I principali utenti del DAF sono le Pubbliche Amministrazioni, che a seconda dei casi possono utilizzare il DAF per:

• accedere in lettura ai dati presenti nel DAF ed effettuare analisi a supporto del decision making (eccezion fatta per i dati sensibili il cui accesso deve essere autorizzato dagli owner del dato);
• sviluppare nuovi servizi non critici rivolti ai cittadini e alle imprese utilizzando i dati e le funzionalità esposte dal DAF;
• sviluppare data application utili per migliorare i servizi erogati e i propri processi interni;
• utilizzare i servizi offerti dal DAF per automatizzare il processo di generazione e pubblicazione di Open Data, in modalità SaaS.

Alle PA si aggiungono le seguenti categorie di utenti:

• data journalist, che sono alla ricerca di informazioni analitiche per supportare le proprie tesi giornalistiche;
• cittadini che ricercano informazioni desumibili dagli strumenti di visualizzazione e dalle data stories pubblicate dal team di datascientist e dalla community sulla base dei dati e strumenti di analisi collegati al DAF;
• community di civic hacker, sviluppatori e aziende che fanno uso degli opendata per creare applicazioni e servizi a valore aggiunto;
• il mondo della ricerca e dell’innovazione. Grazie al DAF sarà, infatti, possibile promuovere iniziative atte a coinvolgere il mondo della ricerca e dell’innovazione su tematiche di interesse pubblico.

Il DAF si poggia su un sistema di sicurezza, gestione di accessi e data separation che permette di gestire i permessi di accesso ai dati. In questo modo, tutte le funzionalità del DAF saranno esposte a tutte le tipologie di utenti sopra indicate, che potranno accedere ai dati per cui il relativo profilo utente ha diritto di accesso.

Benefici e Funzionalità per la PA¶

Il DAF fornisce un sistema di big data management e strumenti di analisi e utilizzo dei dati in modalità SaaS/PaaS, con l’obiettivo di sgravare il più possibile le PA da attività di gestione operativa e tecnica. Inoltre, esse avranno accesso al team di data scientist e data engineer che supporterà le PA nell’utilizzo delle funzionalità del DAF, e potrà prendere in carico richieste di analisi e sviluppo specifiche, da valutare caso per caso.

Il DAF mette a disposizione di ciascuna PA aderente:

• un insieme di tool per l’analisi e l’elaborazione dei dati presenti nel DAF che sfruttano le capacità di gestione ed elaborazione di big data, tra cui:

• Un tool per generare dashboard e report.

• Un notebook per effettuare analisi sui dati presenti nel DAF a cui l’utente ha accesso.

• L’accesso a un insieme di dati utili per l’elaborazione di analytics. Di seguito, un elenco non esaustivo dei dati che a tendere saranno presenti nel DAF:

  • Dati delle basi di dati d’interesse nazionale: basi di dati autoritative rispetto alle “entità” che gestiscono (ad es. ANPR è autoritativa per l’”entità” residente). Nel DAF è possibile trovare una copia sempre aggiornata dei dati in esse contenute, fatte salve le eccezioni di norme e regolamenti, e in accordo con il Garante per la Privacy.
  • Dati delle PA: le PA sincronizzeranno (cfr. Piano triennale) una copia dei dati utili a svolgere il proprio mandato istituzionale nonché i dati generati dai propri sistemi informatici (es. log). Tali dati sono accessibili da parte di tutte le PA, ad eccezione di quei dati sui cui vigono norme in materia di protezione dei dati personali.
  • Open data standard: il DAF promuove la creazione di standard per la diffusione di open-data su temi di diffuso interesse pubblico (es. Mobilità, trasporti, turismo, eventi, ecc.). Grazie a tali standard un dataset può essere popolato in modo collaborativo da più PA.
  • Dati di interesse pubblico di terze parti: il DAF raccoglie e mette a disposizione di tutte le PA dati di terze parti di potenziale interesse pubblico (es. dati provenienti dai social networks, dati forniti da aziende, ecc.).

• un servizio di pubblicazione di open-data di qualità: poiché il DAF ospita copie aggiornate dei dati presenti nelle basi di dati delle PA, ciascuna PA può decidere di abilitare un servizio per la pubblicazione dei propri open-data direttamente tramite apposite API esposte dal DAF.

• un insieme di data application che implementano casi d’uso di interesse per interi cluster di PA (es. Monitoraggio incidenti stradali e individuazione zone a rischio, Servizio per la verifica della qualità delle informazioni contenuti nelle basi di dati della PA, previsionali per i comuni, sentiment analysis, ecc.).

• servizi di accesso a best effort di eventi real-time (egestion) su flussi, eventualmente arricchiti e/o normalizzati, di dati veicolati verso il DAF e potenzialmente utili per la realizzazione di servizi non critici.

Oltre a quanto messo a disposizione dalla piattaforma, attraverso il team di data scientist, il DAF offre un supporto alle PA per la costruzione di modelli di interconnessione delle diverse sorgenti dati, l’analisi dei dati, lo sviluppo di modelli di machine learning, il coordinamento dello sviluppo di data application e l’organizzazione di “competizioni” scientifiche su tematiche di interesse per la PA.

Roadmap di evoluzione¶

Lo sviluppo del DAF prevede due fasi principali:

• Fase 1: Realizzazione e sperimentazione
• Fase 2: Messa in produzione

La prima fase, le cui attività sono concentrate nel secondo semestre 2017, è finalizzata alla realizzazione della piattaforma tecnologica e alla sua sperimentazione sulla base di casi d’uso individuati in collaborazione con alcune PA selezionate. Sarà inoltre avviata una collaborazione con il Garante della Privacy per definire le modalità attraverso le quali le PA potranno formalizzare il rapporto con l’ente al quale, terminata la fase di sperimentazione, sarà affidata la gestione del DAF. In tal senso saranno anche stabilite le regole che, nel rispetto delle norme sulla privacy, definiranno le modalità di caricamento e di analisi dei dati sul DAF, nonché della diffusione dei dati e dei risultati delle analisi stesse.

Nella fase successiva, che andrà a regime dopo che sarà ufficializzato l’ente a cui sarà affidata l’operatività e l’evoluzione del DAF e avviati gli opportuni interventi normativi, il Team Digitale ed AgID predisporranno le procedure atte a rendere operativo quanto prodotto durante la fase sperimentale.

Di seguito una roadmap di alto livello, redatta in base alle informazioni e disponibilità delle PA con cui si è attualmente in contatto, e che potrà essere soggetta a cambiamenti e integrazioni in base ai futuri sviluppi.

• Entro Ottobre 2017: sviluppo primo MVP del Dataportal e rilascio per user testing da parte di community e PA selezionate.
• Entro Ottobre 2017: definizione delle PA centrali e locali coinvolte nella fase di sperimentazione. Si pubblicherà un elenco delle PA aderenti, con aggiornamento continuo.
• Entro Novembre 2017: rilascio secondo MVP del Dataportal che recepisce indicazioni degli utenti sulla base dell’utilizzo del primo MVP.
• Entro Dicembre 2017: Completamento onboarding delle PA coinvolte nella fase di sperimentazione.
• Entro Dicembre 2017: Rilascio della prima release del Dataportal.
• Entro Dicembre 2017: Definizione della governance a tendere del DAF e individuazione della PA che avrà in gestione il progetto.
• Da Gennaio 2018: passaggio di consegne e training verso la PA che gestirà il DAF. Attivazione processo di onboarding per le PA non ancora aderenti al DAF, sia centrali che locali.
• Entro Marzo 2018: sviluppo e rilascio dei casi d’uso elencati nel documento, con modalità best effort.

Modello di governance¶

Durante la fase sperimentale la governance del DAF è in carico al Team Digitale che ha il compito di gestire attivamente la fase di sviluppo concettuale e implementativo dell’infrastruttura, insieme a tutte le fasi del ciclo di vita del dato, dall’ingestione all’analisi e sviluppo di applicazioni. Il Team Digitale si farà anche carico di ingaggiare i rapporti con le PA coinvolte nella fase di sperimentazione e lavorerà insieme a loro per lo sviluppo di casi d’uso indicati nella roadmap.

Parallelamente, il Team Digitale, in stretta collaborazione con le istituzioni competenti, lavorerà per l’individuazione di una PA che prenderà in carico il progetto. Il Team Digitale e la PA selezionata lavoreranno in sinergia durante la fase di messa in produzione del DAF, durante la quale si effettueranno i passaggi di consegna e training.

Architettura di alto livello¶

L’architettura logica del DAF è basata sui seguenti layers:

• Micro-Service Layer: composto da tutti i servizi necessari per implementare le funzionalità della piattaforma. Tutte le componenti sono implementate come microservizi.
• Ingestion Layer: dedicato alla realizzazione di tutte le attività utili al caricamento dei dati.
• Hadoop Computational Layer: contiene tutte le piattaforme computazionali che tipicamente fanno parte dell’ecosistema Hadoop, tra cui si evidenzia Spark sul quale si basano la maggior parte delle elaborazioni eseguite nel DAF. I microservizi presenti nel Micro-service layer utilizzano il livello computazionale per eseguire task utili all’accesso ai dati e alle operazioni di manipolazione e trasformazione. L’ingestion layer usa il computational layer per eseguire operazioni di conversione e trasformazione dei dati.
• Hadoop Storage Layer: ovvero la piattaforma di memorizzazione dei dati fornita da Hadoop. Benché tutti i dati del DAF siano memorizzati su HDFS (il filesystem distribuito del sistema Hadoop), a seconda delle esigenze è possibile che i dati siano replicati su Kudu e HBase per favorire l’efficienza computazionale dei tool di analisi.

L’immagine seguente riassume la vista logica dell’architettura del DAF:

Logical View

Dal punto di vista dell’architettura utile a ospitare il DAF, la piattaforma DAF è progettata per essere installata su due cluster disgiunti di macchine, così come mostrato nella figura successiva:

Deployment View

In dettaglio:

• Kubernetes Cluster - ovvero un cluster Kubernetes composto da nodi che svolgono il ruolo di edge per il cluster Hadoop: tali nodi ospitano i microservizi che fanno, in modalità client, uso delle risorse computazionali e di memorizzazione offerte dal cluster Hadoop.
• Hadoop Cluster - ovvero un cluster di macchine su cui è installata una distribuzione Hadoop out-of-the-box in modalità multi-node.

Casi d’uso della fase sperimentale¶

A seguire un elenco di casi d’uso già individuati dal team di data scientist del DAF e su cui sono in corso attività di sviluppo e sperimentazione a best effort. Questo elenco è da considerarsi dinamico e pertanto sarà arricchito/modificato nel tempo sulla base delle attività concordate con le PA che partecipano alla fase sperimentale. All’interno delle schede di dettaglio sono indicate delle date di scadenza suscettibili a variazioni perché calcolate secondo le informazioni attualmente in nostro possesso. Esse devono infatti essere verificate con le PA coinvolte nelle singole sperimentazioni sulla base dei tempi necessari a queste ultime per fornire i dati o implementare i meccanismi di ingestion.

L’elenco dei casi d’uso è il seguente: