Big data: a reality (not only virtual)

Big data: a reality (not only virtual)

by Elisabetta Tisato April 16, 2020
Big data

È ormai evidente come la nostra società si trovi nel mezzo della quarta rivoluzione industriale che cambia e cambierà in modo radicale il mondo del lavoro. I tempi sono brevi, come sempre più veloci sono i progressi che ci coinvolgono la nostra società in ogni settore. Le scelte che si devono fare ogni giorno sono innumerevoli, i processi decisionali diventano sempre più complessi e articolati, dipendenti dalla capacità di prendere la decisione giusta al momento giusto e velocemente. Per fare ciò l’unico modo è riuscire ad interpretare in modo corretto tutte le informazioni che si hanno a disposizione, che diventano sempre maggiori di giorno in giorno. Dati su dati che necessitano di essere interpretati per poter essere utilizzati: i big data.

Questi giorni di incertezza e difficoltà, dove un nemico inaspettato e invisibile ha stravolto totalmente le nostre vite e abitudini, ci mostrano quanto il nostro mondo sia interconnesso sia fisicamente che digitalmente. L’abbraccio fisico che non possiamo più dare è diventato virtuale grazie a tutte le applicazioni che ci permettono di continuare a restare vicini ai nostri cari anche se a distanza. Lo smartworking sta permettendo di continuare parzialmente l’attività di migliaia di aziende chiuse forzatamente in ambito produttivo.

Forse mai come oggi è evidente quanto la digitalizzione per un’azienda non sia un’opzione ma una necessità per la sopravvivenza. Questa è una realtà per qualsiasi imprenditore, sia esso di una piccola, media o grande impresa.

Ma cosa sono i big data?

Tutti gli aspetti della vita subiscono ormai da anni un processo di digitalizzazione che produce inevitabilmente un’esponenziale crescita della richiesta e produzione di dati.

Ogni uomo o azienda che sia, è un enorme creatore di dati, legati ai comportamenti che adotta sia sul web che nella vita di relazione.

Post sui social network, utilizzo GPS, viaggi, transazioni con carte di credito o col bancomat piuttosto che l’utilizzo dello smart phone, sono solo alcuni dei momenti in cui noi lasciamo una “traccia”, un dato che viene memorizzato e che ci caratterizza.

Il tema è tristemente d’attualità in quanto proprio la tracciabilità dei telefoni cellulari viene utilizzata in questi giorni per monitorare la posizione delle persone, in ottica di mantenimento della quarantena imposta per l’emergenza covid-19.

Ogni azione compiuta è sempre più legata ad elementi digitali che per il loro funzionamento richiedono input di dati e ne producono ancor di più. Una delle maggiori fonti, anche se non l’unica, è i’internet of things (IoT). Quel processo di connettività fra oggetti reali presenti nelle nostre vite e la loro acquisita capacità di comunicare e scambiarsi informazioni, ovvero di produrre dati.

Ecco i big data 

Di big data vengono chiamate queste immense quantità di dati dalle più diverse origini. La parte di questi dati derivante da internet è destinata a crescere sempre più e a velocità impensabili fino a solo qualche anno fa. Alcune cifre compilate da Cefriel rendono la potenza di questa avanzata:

  • ogni giorno sono generati circa 3 quintilioni di byte (cifra che si scrive con 18 zeri);
  • in 60 secondi si scrivono 187 milioni di email, 41,6 milioni di messaggi Whatsapp, i 18,1 milioni di sms scambiati ogni minuto. Proprio mentre leggevi questa frase, 33 milioni di messaggi sono stati inviati;
  • sempre in un minuto i login su Facebook arrivano a 1 milione, gli scroll su Instagram fino a più di 340 mila. 

Sicuramente questi dati dovranno essere aggiornati al rialzo in quanto si riferiscono a prima dello scoppio della terribile epidemia di coronavirus, che con la quarantena obbligata in casa, ha reso i video, audio, social ed ogni sistema di comunicazione ed acquisto on line, l’unica forma di contatto sociale. In futuro dovrà continuare a farlo.

Dando uno sguardo all’evoluzione negli scorsi due anni:

Paragone tra i big data generati sul web 2018-2019

Crescita dei big data tra il 2018 ed il 2019

Confrontando il grafico 2019 con lo stesso dell’anno 2018 risulta evidente come il volume relativo ad ogni singola voce sia incrementato, ad eccezione di alcune applicazioni che hanno visto diminuire il loro utilizzo in quanto sostituite da altre appena nate, non ancora presenti nelle statistiche 2019.

Questo è il caso di Snapchat, parzialmente “sostituito” da Tik Tok, subentratogli nella classifica aggiornata nel 2020:

Big data generati sul web nel 2020

Big data generati sul web nel 2020

Ulteriori evidenze della crescita dei big data

Negli ultimi due-tre anni è stato creato quasi il 90% dei dati disponibili ad oggi. Questa enorme quantità di dati può essere utilizzata per incrementare l’efficienza delle aziende, creare nuove opportunità di business raggiungendo nuovi clienti e conquistando nuovi mercati. Tutto senza dimenticare le numerose nuove opportunità lavorative e professioni che queste innovazioni porteranno.

Si consumano sempre più video in streaming, la domotica è sempre più utilizzata nella gestione energetica, in azienda si utilizzando servizi e cloud e i processi vengono digitalizzati. Inoltre, c’è l’imminente avvento del 5G nel settore della telefonia con conseguente crescita esponenziale di dati scambiati.

Tutto questo può dare solo un’idea di quanto i dati e la loro gestione saranno sempre più fondamentali nelle nostre vite e che il quanto il loro volume sarà sempre maggiore.

A tale proposito, quali sono le principali fonti di dati? Eccole:

  • social media;
  • data storage, ovvero sistemi di stoccaggio dati strutturati;
  • dati dei sensori (iOT);
  • documenti elettronici come pdf, fogli excel;
  • media come video, immagini e live streamings;
  • siti web;
  • archivi di documenti cartacei scannerizzati.

A cosa servono e come possono essere utilizzati i big data?

La funzione centrale dei dati è quella di fornire la maggiore rappresentazione possibile della realtà. Successivamente, attraverso processi di verifica e controllo dei dati stessi, consentono di agire praticamente in modo repentino e adeguato. In altre parole, servono a fornire un’informazione sulla realtà il più precisa e realistica possibile.

Vista la quantità enorme di dati a nostra disposizione, non si tratta certamente di un lavoro agevole.

Ecco perché sono necessari degli strumenti che ci indichino quali di questi dati sia necessario ed utile al nostro scopo e quali no, essendo temporalmente e fisicamente impossibile vagliarli autonomamente.

Come si crea un’intelligenza artificiale che ci permetta di fare questo?

Gli algoritmi fanno al caso nostro per risolvere questo problema. Questi algoritmi possono essere definiti come “procedimenti” che ci guidano passo a passo, in un insieme di istruzioni che devono essere eseguite per risolvere un determinato problema.

Immaginate ad esempio una lista di procedimenti che compiamo quando facciamo il caffè: riempire la moka d’acqua, mettere il caffè, chiudere la moka, e così via fin quando non si ottiene il caffè.

Gli algoritmi sono schemi di calcolo, procedimenti appunto, che permettono di estrarre informazioni dai dati. Non solo, danno chiavi di lettura e utilizzando dei metodi probabilistici, traggono delle previsioni dalle informazioni estratte dai dati da noi prodotti nelle azioni precedenti.

Ti ricordi che ogni nostra azione fatta utilizzando un qualsiasi dispositivo digitale lascia una “traccia”? Bene, ecco come gli algoritmi “imparano” a conoscerci. Dopo aver “fatto conoscenza” forniscono dati che possono essere per noi interessanti rispetto ad altri, selezionandoli fra il volume vertiginoso presente in rete e seguendo una logica che fa riferimento a scelte da noi compiute in altre occasioni.

In modo autonomo scelgono cosa proporci basandosi su quelli ritengono essere i nostri interessi. Prendono decisioni autonomamente ed in parte decidono per noi.

Algoritmi, AI e big data

Non a caso gli algoritmi costituiscono le basi dell’intelligenza artificiale (AI) e sono fonte di argomentazioni etiche ed umane di importanza fondamentale. Lo scenario che si è già delineato sia nel presente e tanto più sarà nel futuro è ambivalente:

  • da una parte una crescita esponenziale di dati che dovranno essere analizzati, valutati e sfruttati per una migliore qualità professionale e di vita;
  • dall’altra parte una sempre maggiore consapevolezza da parte dell’uomo nell’utilizzo di questi dati, il problema della tutela della privacy e del trattamento dei dati personali.

L’uomo, sempre al centro della scena, dovrà essere in grado di permettere alla tecnologia di svilupparsi, grazie anche ai big data, in azioni autonome che allo stesso tempo non costituiscano una “restrizione” dei nostri diritti e libertà.

I dati si dividono in:

  1. non strutturati, conservati senza alcuno schema (es. file contenenti testi a carattere narrativo prodotti con software di editing testuale o un file multimediale, video, immagini, audio)
  2. strutturati, conservati in database, organizzati secondo schemi e tabelle rigide
  3. semi strutturati dove si incontrano caratteristiche di entrambe le categorie.

Come posso essere utili alle aziende?

Come detto in apertura, l’utilizzo e la gestione dei big data non è un’opzione ma una necessità per la sopravvivenza di qualsiasi imprenditore, sia esso di una piccola, media o grande impresa.

Abbiamo visto come siano intorno a noi in ogni aspetto della nostra vita, sia privata che lavorativa. I big data sono utili per le aziende in quanto permettono l’aggiornamento dello status dell’attività di gestione e produttiva in modo costante ed autonomo e questo consente di identificare i problemi in modo più comprensibile ed agire molto più rapidamente ed in modo efficiente.

Un esempio concreto è stato l’utilizzo di algoritmi per la procedura di assegnazione delle sedi per la mobilità dei docenti nelle scuole. In questo caso, il Ministero dell’Istruzione ha utilizzato un sistema automatizzato che, utilizzando parametri preimpostati (posizioni personali, titoli, punteggi…) ha portato alla valutazione delle domande dei singoli partecipanti assegnando in maniera autonoma le sedi di competenza.

Analizzare e codificare i dati diviene quantomai fondamentale per permetterci di agire in modo corretto e mirato. È quindi necessaria una scienza che ci permetta di far ciò, una scienza dell’analisi dei dati. 

L’analisi dei dati: nasce il data science

Prima di procedere con il data science, è necessario precisare prima cosa sono due delle sue categorie: il data analysis and data analytics.

I due big data: le differenze tra analytics e analysis

Analytics è il processo scientifico di scoperta e comunicazione dei modelli significativi che possono essere trovati nei dati. In altre parole, sono i dati grezzi vengono trasformati in utili intuizioni per prendere decisioni migliori.

La differenza con l’analysis sta nel fatto che questa rappresenta la comprensione del passato. L’analytics analysys si concentra sul perché è successo e su cosa succederà dopo. Quindi, sarà questa l’oggetto del nostro racconto in seguito.

Un’altra distinzione importante è quella delle tipologie fondamentali di analisi dei dati: descriptive, predictive, prescriptive e automated. Vediamole.

Descriptive analytics

Come il nome dice, è l’analisi descrittiva della realtà. Consiste in strumenti che permettono la visualizzazione dei livelli di performance aziendale, come ad esempio un grafico dell’andamento di un determinato reparto.

Predictive analitycs

Sono strumenti che permettono di disegnare possibili scenari di sviluppo nel futuro. I predictive analytics si basano su modelli predittivi statistici e rispondo alle domande formulate. Ad esempio, individuano quale sarà la domanda per un determinato prodotto in un determinato periodo. In questo modo, diventano strumento primario di programmazione in qualsiasi ramo di attività.

Prescriptive analytics

Quelli prescriptive sono strumenti in grado di proporre indicazioni strategiche e soluzioni operative a chi prende le decisioni. Per poter farlo, considerano sempre le analisi precedenti come punto di partenza.

Automated Analytics

Le analisi automatizzate sono quelle più sviluppate, in grado di implementare in modo autonomo una determinata azione. In base al risultato di un’analisi, ad esempio come automatizzare un sistema produttivo, propongono delle possibilità, scegliendone una. Questo è esattamente quello che fanno gli ormai celebri algoritmi.

I big data nell’imprenditoria italiana

Secondo un’indagine svolta dall’Osservatorio Big Data Analytics & Business Intelligence del Politecnico di Milano, nelle grandi imprese italiane (oltre 250 dipendenti) l’analisi è così suddivisa:

  • la descriptive analytics è ormai un dato di fatto essendo presente nell’89% delle aziende intervistate;
  • la predictive analytics risulta attirare il maggior interesse con una diffusione al 59%;
  • sono ancora confinati solo in alcuni ambiti applicativi (30%) o in fase di pilota (28%);
  • il restante 42% non ha ancora soluzioni di questo tipo ma il 37% ne sta valutando l’adozione nei prossimi 12 mesi.

L’indagine ha coinvolto 1.000 CIO (chief information officer) di altrettante aziende.

Sono ancora molto indietro i prescriptive e automated analytics, presenti rispettivamente nel 23% e nel 10% delle aziende e solo a livello di progetto pilota.

Come va la situazione nelle PMI?

Nelle piccole e medie imprese (tra 10 e 250 dipendenti), la sensibilità all’utilizzo dei dati si mostra molto più bassa rispetto alle grandi imprese. Infatti, solo un’azienda su 3 adotta modelli di descriptive analytics (34%).

Le aziende di medie dimensioni presentano una percentuale maggiore, pari al 39%, rispetto a quelle piccole con il 33%. L’utilizzo di modelli di predictive è ancora limitato a poche realtà (16%), mentre prescriptive e predictive analytics sono ancora scarsamente conosciuti.

Sempre secondo lo stesso studio, “nel 2019 il mercato big data analytics in Italia ha raggiunto un valore di quasi 1,7 miliardi di euro, con un tasso di crescita del 23% rispetto al 2018. ” Questi investimenti sono così distribuiti:

  • 47% software: 53% del totale investito nei software sono strumenti per la visualizzazione ed analisi dei dati e il restante 47% è costituito da integrazione e preparazione;
  • 20% risorse infrastrutturali: per abilitare l’analytics e fornire capacità di calcolo e storage ai sistemi aziendali, primo fra tutti il cloud;
  • 33% servizi per la personalizzazione del software: integrazione con i sistemi aziendali e consulenza per la riprogettazione dei processi.

Ma considerando che le imprese sono destinate a divenire sempre più delle vere “fabbriche di dati”, chi sarà o è già in grado di comprendere e gestire questa immensa mole?

Le professioni nate dai big data

Diamo uno sguardo alle professioni maggiormente in evidenza con l’espansione dei big data:

Data scientist

Il data scientist è la figura professionale con competenze plurime, che gestisce i big data, ovvero i dati grezzi. Successivamente ne trae informazioni rilevanti per le diverse necessità aziendali come il marketing o le strategie di business.

Le molteplici competenze necessarie al data scientist richiedono: l’informatica, capacità di gestione dei progetti, matematica ed analisi, statistica, conoscenza del core business aziendale, capacità di comunicazione grafica e relazionale.

È una professione per la quale si consiglia una laurea in data science (esistono master e lauree magistrali) oppure in informatica, matematica e ingegneria informatica.

Lo stipendio medio di un data scientist è di 39.000 euro annui circa. Si possono comunque raggiungere cifre molto più elevate, oltre i 100.000 euro annui.

Data engineer

Sono conosciuti come data engineer gli ingegneri dei dati che usano le loro competenze ingegneristiche e informatiche per aggregare, analizzare e manipolare insiemi di big data. Il compito del data engineer è garantire la disponibilità, fruibilità e qualità dei dati.

È una professione per la quale serve almeno una laurea specialistica in materie con indirizzo scientifico come informatica, matematica, ingegneria informatica, statistica, fisica ed economia.

Lo stipendio medio annuo è in linea con quello del data scientist.

Data analyst

La figura del data analyst analizza e interpreta i dati per trasformarli in utili informazioni per il business e per il processo decisionale. La differenza sostanziale con il data scientist e analyst sta nel fatto che il primo si occupa di modellizzare problemi complessi con una conoscenza approfondita delle tecniche matematico statistiche.

Il data analyst analizza i dati presenti in azienda da tutte le diverse fonti. Una volta esclusi o eliminati eventuali errori per identificare i problemi che rallentano il business, passa alla raccolta e all’analisi statistica dei dati. Successivamente verifica ipotesi e teorie per ottenere un vantaggio competitivo.

Anche in questo caso le lauree più indicate sono di orientamento scientifico e matematico, come statistica, informatica, ingegneria informatica, data science.

Lo stipendio medio si aggira sui 27.000 euro annui.

Security Engineer

Il security engineer è l’ingegnere della sicurezza dei sistemi informatici, sia nella soluzione che nella prevenzione di possibili problemi. Si tratta di una figura che all’estero, specialmente negli USA, si è già imposta in tutta la sua importanza. Questa posizione può arrivare a ricevere stipendi molto elevati, 100.000 euro annui o addirittura di più. In Italia, dove è relativamente recente in ambito aziendale, lo stipendio medio annuo si attesta intorno a 25.000 euro.

Una solida base informatica è primo requisito per intraprendere questa attività in forte espansione. Quindi, una laurea informatica è necessaria anche se in molte università italiane esistono già corsi di laurea specifici in sicurezza informatica.

Tutti i valori degli stipendi sono stimati in base ad una media effettuata sulle offerte presenti sul mercato del lavoro da parte delle maggiori agenzie.

Esistono ancora altre professioni emergenti legate alla gestione dei dati come:

  • database manager: coloro che gestiscono il mantenimento, la cura e il miglioramento del database;
  • data architect: chi progetta sistemi informativi e l’andamento dei flussi dei dati per ottenere la maggiore organizzazione e produttività possibili.

Quanto vale il settore analytics e quali sono i settori più attenti ai big data in Italia?

Settori in cui l'investimento in big data è maggiore

Questi i dati relativi alla crescita fino al novembre 2019, stillati da BrandNews.

Esistono dei settori che prima di altri hanno compreso il cambiamento in corso ed hanno intrapreso investimenti ed azioni mirati a migliorare la gestione e comprensione dei BIG DATA a loro vantaggio, queste le percentuali del mercato italiano:

Il settore bancario con il 28% della spesa è al primo posto nel nostro paese, seguito poi da:

  • settore manifatturiero con 25%;
  • media e telecomunicazioni al 14%;
  • servizi 8%;
  • GDO/Retail 7%;
  • assicurazioni 6%;
  • utility 6%;
  • sanità 6%

Certamente che queste percentuali sono in continua evoluzione e cambiamento.

Case studies di big data

Vediamo alcuni casi in cui i big data consentono cose impensabili fino qualche mese o anno fa.

Big data e la salute

L’Health Data Analytics Institute costituisce un esempio concreto di come l’analisi dei dati sia diventata fondamentale e oggetto di studio e lavoro. Qui l’intelligenza artificiale eccelle nel dare un senso ai dati.

La sua piattaforma basata sull’intelligenza artificiale analizza oltre un miliardo di incontri con pazienti per migliorare i risultati sanitari. L’ottica è quella di una sempre più precisa previsione clinica e maggiore salute. In poche parole, trovare un potenziale problema il prima possibile.

L’intrattenimento e i big data

Altro esempio è la AMC Networks, operante nell’ambito dell’intrattenimento e produttrice fra l’altro di show come Breaking Bad, Mad Man and The Walking Dead. Come riporta la BigData 4 Innovation, la AMC ha attuato una strategia di investimento sui big data per conoscere meglio il suo pubblico.

La frontiera dell’agricoltura e i big data

Nell’ambito dell’agricoltura l’azienda Arable ha recentemente lanciato un sistema di monitoraggio tramite sensori per la raccolta di dati nell’ottica di ottimizzare la produzione nelle fattorie. In questo video si può capire quanto dirompente sia il cambiamento in corso:

I big data non ci cambieranno la vita: l’hanno già cambiata!

Abbiamo visto come i dati siano parte integrante della nostra vita e di quanto il loro numero e la loro importanza siano destinati a crescere esponenzialmente.

Lo vediamo ogni giorno, soprattutto adesso che siamo costretti a casa e privati della possibilità di interagire fisicamente: ogni azione fatta tramite la rete, che sia una chiamata piuttosto che un video, è scambio di dati.

Ed è ormai evidente come oggi la loro gestione sia fondamentale per ogni azienda, per fronteggiare rapidamente e produttivamente ogni eventualità e riuscire ad interpretare quelli che sono i modelli “nascosti” consente di mettere in atto le azioni giuste al momento giusto.

Questi tristi giorni ci dimostrano quanto l’utilizzo e la comprensione dello scambio di dati siano necessari per poter continuare un’attività lavorativa in situazioni di difficoltà e mantenere contatti quando non è possibile fisicamente.

Stiamo probabilmente assistendo e ad una rivoluzione che vedrà il concetto di lavoro modificarsi definitivamente, diventando sempre più “smart”, in altri termini alla definitiva “consacrazione” dei big data che se ben analizzati e gestiti ci consentono di ottenere risultati prima impensabili, sia dal punto di vista professionale che umano, in questo momento così importante.

Social Shares

Iscriviti adesso alla nostra newsletter

Info, idee e aggiornamenti per il tuo business

Related Articles