Durante la fase sperimentale la governance del DAF è in carico al Team Digitale che ha il compito di gestire attivamente la fase di sviluppo concettuale e implementativo dell’infrastruttura, insieme a tutte le fasi del ciclo di vita del dato, dall’ingestione all’analisi e sviluppo di applicazioni. Il Team Digitale si farà anche carico di ingaggiare i rapporti con le PA coinvolte nella fase di sperimentazione e lavorerà insieme a loro per lo sviluppo di casi d’uso indicati nella roadmap. Parallelamente, il Team Digitale, in stretta collaborazione con le istituzioni competenti, lavorerà per l’individuazione di una PA che prenderà in carico il progetto. Il Team Digitale e la PA selezionata lavoreranno in sinergia durante la fase di messa in produzione del DAF, durante la quale si effettueranno i passaggi di consegna e training ...

A seguire un elenco di casi d’uso già individuati dal team di data scientist del DAF e su cui sono in corso attività di sviluppo e sperimentazione a best effort. Questo elenco è da considerarsi dinamico e pertanto sarà arricchito/modificato nel tempo sulla base delle attività concordate con le PA che partecipano alla fase sperimentale. All’interno delle schede di dettaglio sono indicate delle date di scadenza suscettibili a variazioni perché calcolate secondo le informazioni attualmente in nostro possesso. Esse devono infatti essere verificate con le PA coinvolte nelle singole sperimentazioni sulla base dei tempi necessari a queste ultime per fornire i dati o implementare i meccanismi di ingestion. L’elenco dei casi d’uso è il seguente: ...

Lo sviluppo del DAF prevede due fasi principali:. Fase 2: Messa in produzione. La prima fase, le cui attività sono concentrate nel secondo semestre 2017, è finalizzata alla realizzazione della piattaforma tecnologica e alla sua sperimentazione sulla base di casi d’uso individuati in collaborazione con alcune PA selezionate. Sarà inoltre avviata una collaborazione con il Garante della Privacy per definire le modalità attraverso le quali le PA potranno formalizzare il rapporto con l’ente al quale, terminata la fase di sperimentazione, sarà affidata la gestione del DAF. In tal senso saranno anche stabilite le regole che, nel rispetto delle norme sulla privacy, definiranno le modalità di caricamento e di analisi dei dati sul DAF, nonché della diffusione dei dati e dei risultati delle analisi stesse. Nella fase successiva, che andrà a regime dopo che sarà ufficializzato l’ente a cui sarà affidata l’operatività e l’evoluzione del DAF e avviati gli opportuni interventi normativi, il Team Digitale ed AgID predisporranno le procedure atte a rendere operativo quanto prodotto durante la fase sperimentale. Di seguito una roadmap di alto livello, redatta in base alle informazioni e disponibilità delle PA con cui si è attualmente in contatto, e che potrà essere soggetta a cambiamenti e integrazioni in base ai futuri sviluppi. Entro Ottobre 2017: definizione delle PA centrali e locali coinvolte nella fase di sperimentazione. Si pubblicherà un elenco delle PA aderenti, con aggiornamento continuo. Entro Novembre 2017: rilascio secondo MVP del Dataportal che recepisce indicazioni degli utenti sulla base dell’utilizzo del primo MVP. Entro Dicembre 2017: Completamento onboarding delle PA coinvolte nella fase di sperimentazione. Entro Dicembre 2017: Rilascio della prima release del Dataportal. Entro Dicembre 2017: Definizione della governance a tendere del DAF e individuazione della PA che avrà in gestione il progetto. Da Gennaio 2018: passaggio di consegne e training verso la PA che gestirà il DAF. Attivazione processo di onboarding per le PA non ancora aderenti al DAF, sia centrali che locali. Entro Marzo 2018: sviluppo e rilascio dei casi d’uso elencati nel documento, con modalità best effort ...

Il DAF fornisce un sistema di big data management e strumenti di analisi e utilizzo dei dati in modalità SaaS/PaaS, con l’obiettivo di sgravare il più possibile le PA da attività di gestione operativa e tecnica. Inoltre, esse avranno accesso al team di data scientist e data engineer che supporterà le PA nell’utilizzo delle funzionalità del DAF, e potrà prendere in carico richieste di analisi e sviluppo specifiche, da valutare caso per caso. Il DAF mette a disposizione di ciascuna PA aderente:. Un tool per generare dashboard e report. Un notebook per effettuare analisi sui dati presenti nel DAF a cui l’utente ha accesso. L’accesso a un insieme di dati utili per l’elaborazione di analytics. Di seguito, un elenco non esaustivo dei dati che a tendere saranno presenti nel DAF:. Dati delle basi di dati d’interesse nazionale: basi di dati autoritative rispetto alle “entità” che gestiscono (ad es. ANPR è autoritativa per l’”entità” residente). Nel DAF è possibile trovare una copia sempre aggiornata dei dati in esse contenute, fatte salve le eccezioni di norme e regolamenti, e in accordo con il Garante per la Privacy. Dati delle PA: le PA sincronizzeranno (cfr. Piano triennale) una copia dei dati utili a svolgere il proprio mandato istituzionale nonché i dati generati dai propri sistemi informatici (es. log). Tali dati sono accessibili da parte di tutte le PA, ad eccezione di quei dati sui cui vigono norme in materia di protezione dei dati personali. Open data standard: il DAF promuove la creazione di standard per la diffusione di open-data su temi di diffuso interesse pubblico (es. Mobilità, trasporti, turismo, eventi, ecc.). Grazie a tali standard un dataset può essere popolato in modo collaborativo da più PA. Dati di interesse pubblico di terze parti: il DAF raccoglie e mette a disposizione di tutte le PA dati di terze parti di potenziale interesse pubblico (es. dati provenienti dai social networks, dati forniti da aziende, ecc.). un servizio di pubblicazione di open-data di qualità: poiché il DAF ospita copie aggiornate dei dati presenti nelle basi di dati delle PA, ciascuna PA può decidere di abilitare un servizio per la pubblicazione dei propri open-data direttamente tramite apposite API esposte dal DAF. un insieme di data application che implementano casi d’uso di interesse per interi cluster di PA (es. Monitoraggio incidenti stradali e individuazione zone a rischio, Servizio per la verifica della qualità delle informazioni contenuti nelle basi di dati della PA, previsionali per i comuni, sentiment analysis, ecc.). servizi di accesso a best effort di eventi real-time (egestion) su flussi, eventualmente arricchiti e/o normalizzati, di dati veicolati verso il DAF e potenzialmente utili per la realizzazione di servizi non critici. Oltre a quanto messo a disposizione dalla piattaforma, attraverso il team di data scientist, il DAF offre un supporto alle PA per la costruzione di modelli di interconnessione delle diverse sorgenti dati, l’analisi dei dati, lo sviluppo di modelli di machine learning, il coordinamento dello sviluppo di data application e l’organizzazione di “competizioni” scientifiche su tematiche di interesse per la PA ...

Il Data & Analytics Framework (DAF) è una delle attività atte a valorizzare il patrimonio informativo pubblico nazionale approvata dal Governo italiano nell’ambito del Piano Triennale per l’Informatica nella PA 2017-2019. L’obiettivo principale del DAF è di abbattere le barriere esistenti nell’interscambio dei dati pubblici tra PA e promuoverne l’utilizzo a supporto del decision making pubblico, ottimizzare i processi di analisi dati e generazione di sapere, standardizzare e promuovere la diffusione degli open data, promuovere e supportare iniziative di ricerca scentifica favorendo la collaborazione con Università ed enti di ricerca. Il DAF si compone di:. Nel data lake vengono memorizzati, nel rispetto delle normative in materia di protezione dei dati personali, dati di potenziale interesse quali, ad esempio: le basi di dati che le PA generano per svolgere il proprio mandato istituzionale; i dati generati dai sistemi informatici delle Pubbliche Amministrazioni come log e dati di utilizzo che non rientrano nella definizione precedente; i dati autorizzati provenienti dal web e dai social network di potenziale interesse della Pubblica Amministrazione;. big data engine utile ad armonizzare ed elaborare, sia in modalità batch che real-time, i dati grezzi memorizzati nel data lake e a implementare modelli di machine learning;. strumenti per l’interscambio dei dati, utili a favorire la fruizione dei dati elaborati da parte dei soggetti interessati, anche attraverso API che espongono dati e funzionalità ad applicazioni terze;. strumenti di analisi e visualizzazione dei dati offerti in modalità self-service agli utilizzatori del DAF. Un Dataportal, che rappresenta l’interfaccia utente per l’utilizzo delle funzionalità implementate nel DAF. In particolare, il dataportal si compone di:. un catalogo dei dataset basato su CKAN, che gestisce i metadati relativi sia ai dati contenuti nel DAF che agli open data harvestati dai siti delle PA;. interfacce utente per accedere ai tool di analisi e data visualization menzionati sopra;. un modulo riservato alle PA per gestire il processo di ingestion e gestione dei dati e metadati nel DAF;. un modulo per data stories, attraverso il quale gli utenti possono pubblicare le proprie analisi e collaborare con altri utenti. Da un team di esperti di dati, composto da data scientist, data engineer e big data architect che provvedono al disegno e all’evoluzione concettuale della piattaforma big data, alla costruzione di modelli di interconnessione delle diverse sorgenti dati, all’analisi dei dati, allo sviluppo di modelli di machine learning, al coordinamento dello sviluppo di data application e all’incentivazione della ricerca scientifica su tematiche di interesse per la PA. Si rimanda al capitolo 9 del Piano Triennale per maggiori informazioni ...

I principali utenti del DAF sono le Pubbliche Amministrazioni, che a seconda dei casi possono utilizzare il DAF per:. sviluppare nuovi servizi non critici rivolti ai cittadini e alle imprese utilizzando i dati e le funzionalità esposte dal DAF;. sviluppare data application utili per migliorare i servizi erogati e i propri processi interni;. utilizzare i servizi offerti dal DAF per automatizzare il processo di generazione e pubblicazione di Open Data, in modalità SaaS. Alle PA si aggiungono le seguenti categorie di utenti:. cittadini che ricercano informazioni desumibili dagli strumenti di visualizzazione e dalle data stories pubblicate dal team di datascientist e dalla community sulla base dei dati e strumenti di analisi collegati al DAF;. community di civic hacker, sviluppatori e aziende che fanno uso degli opendata per creare applicazioni e servizi a valore aggiunto;. il mondo della ricerca e dell’innovazione. Grazie al DAF sarà, infatti, possibile promuovere iniziative atte a coinvolgere il mondo della ricerca e dell’innovazione su tematiche di interesse pubblico. Il DAF si poggia su un sistema di sicurezza, gestione di accessi e data separation che permette di gestire i permessi di accesso ai dati. In questo modo, tutte le funzionalità del DAF saranno esposte a tutte le tipologie di utenti sopra indicate, che potranno accedere ai dati per cui il relativo profilo utente ha diritto di accesso ...

Indice dei contenuti ...

Caso applicativo. Implementazione Dataset Chiave Ambito Mobilità e Trasporti. PA coinvolte. TaskForce OpenData, Motorizzazione Civile, ACI. Dataset utilizzati. Statici: Lista Parcheggi, Parco Macchine, Perimetro, varchi e orari ZTL, Patenti Attive, Incidenti Stradali. Real Time: Traffico e viabilità in tempo reale, stato dei parcheggi in tempo reale. Roadmap. Entro dicembre 2017. Stato. In attesa dei dataset. Note. In lavorazione la documentazione relativa alla struttura dei dati per ogni dataset chiave, le pipeline di trasformazione dal dato grezzo in quello Open Data, le procedure di ingestion automatiche dei dati necessari per produrre i dataset chiave menzionati. Caso applicativo. Implementazione Dataset Chiave Ambito Economia e Finanze. PA coinvolte. UnionCamere, Agenzia delle Entrate. Dataset utilizzati. Statici: Registro delle Imprese (dati anagrafici e bilanci), punti fiduciari, comuni d’Italia e stati esteri, dati statistici su immobili per comune, statistiche su transazioni immobiliari. Roadmap. Entro dicembre 2017. Stato. In attesa di via libera di UnionCamere per contenuto che sarà possibile rendere open. In attesa di apertura dati Agenzia Entrate. Note. In lavorazione la documentazione relativa alla struttura dei dati per ogni dataset chiave, le pipeline di trasformazione dal dato grezzo in quello Open Data, le procedure di ingestion automatiche dei dati necessari per produrre i dataset chiave menzionati. Caso applicativo. Implementazione Dataset Chiave Ambito Cultura e Turismo. PA coinvolte. MIBACT, TaskForce OpenData. Dataset utilizzati. Statici: Istituti e luoghi della cultura, eventi culturali, altri eventi assimilabili, catalogo dei beni culturali, cammini e percorsi, altri percorsi assimilabili, strutture ricettive, guide turistiche. Roadmap. Entro dicembre 2017. Stato. In lavorazione. Note. In lavorazione la documentazione relativa alla struttura dei dati per ogni dataset chiave, le pipeline di trasformazione dal dato grezzo in quello Open Data, le procedure di ingestion automatiche dei dati necessari per produrre i dataset chiave menzionati ...

Caso applicativo. Servizio notifica dei trasporti pubblici. PA coinvolte. MIT, Task Force DatiPubblici. Dataset utilizzati. Dataset direttamente forniti da PA che collaborano attivamente alla sperimentazione e dataset già disponibili sotto forma di open-data. Roadmap. In fase di studio. Stato. Marzo 2017. Note. Il dominio dei trasporti pubblici è particolarmente favorevole alla conduzione di attività sperimentali perché ci sono un numero significativo di dati già pubblicati come opendata utilizzando formati che rappresentano standard de-facto di dominio (es. gtfs, gtfs-realtime) ...

Caso applicativo. Strumenti di supporto al monitoraggio del Piano Triennale. PA coinvolte. AgID, Team Digitale. Dataset utilizzati. IPA, altre datasource da identificare insieme ad AgID. Roadmap. Entro dicembre 2017. Stato. In attesa della definizione degli indicatori del Piano Triennale. Note. Il team di data scientist ed AgID verificheranno quali indicatori del piano triennale si prestano ad essere misurati in modo automatico per mezzo del DAF. Caso applicativo. Monitoraggio canali social delle PA. PA coinvolte. Team Digitale. Dataset utilizzati. Dati provenienti da uno o più social network. Roadmap. Marzo 2018. Stato. In fase di studio. Note. L’output minimo è un dashboard che offre misurazioni sull’uso dei social network da parte delle PA (es. Classifiche delle PA più attive, PA più seguite, ecc). Sarà inoltre valutata la possibilità di realizzare cruscotti utili a monitorare in tempo reale gli argomenti più trattati sui canali della PA, in modo da offrire uno strumento utile a velocizzare l’individuazione delle esigenze dei cittadini ...

Caso applicativo. …. PA coinvolte. …. Dataset utilizzati. …. Roadmap. …. Stato. …. Note. … … … ...

Caso applicativo. Sperimentazione di Analytics & Dashboarding. PA coinvolte. Elenco aperto, correntemente rapporti avviati con Milano, Torino. Dataset utilizzati. In fase di definizione. Roadmap. Dicembre 2017 - Marzo 2018. Stato. In fase di avvio lavori. Note. Si lavorerà insieme alle PA selezionate per guidarle nell’utilizzo degli strumenti messi a disposizione, capirne sul campo i relativi bisogni e realizzare insieme a loro dei PoC esemplificativi ...