Viviamo in un’era data driven. Ogni giorno, aziende di ogni settore raccolgono enormi quantità di informazioni da diverse fonti: database, applicazioni web, sensori IoT, piattaforme di social media, e-commerce e molto altro. Tuttavia, i dati grezzi spesso non sono subito utilizzabili (come avviene spesso nelle prime fasi di un progetto Leggi tutto…
Apache Spark MLlib (Machine Learning Library) è una libreria scalabile per il Machine Learning, progettata per elaborare grandi volumi di dati in modo distribuito. È parte integrante dell’ecosistema Apache Spark e consente di costruire modelli di Machine Learning sfruttando la parallelizzazione su cluster. Perchè utilizzare MLlib? MLlib è stato creato Leggi tutto…
Il machine learning si può classificare in: supervisionato, dati etichettati non supervisionato, dati non etichettati Nell’approccio supervisionato il modello viene addestrato su osservazioni con etichetta. Infatti, l’obiettivo è quello di fare previsioni accurate su nuovi dati ancora non etichettati. Considerando che il processo di addestramento è guidato dalle etichette di Leggi tutto…
Gli RDD (Resilient Distributed Dataset) rappresentano una delle astrazioni fondamentali offerte da Apache Spark per la gestione e l’elaborazione dei dati in modalità distribuita. Gli RDD sono progettati per essere una collezione di elementi distribuiti su diversi nodi di calcolo, permettendo un’elaborazione parallela efficiente e scalabile. Read-Only: Gli RDD sono Leggi tutto…
Data una formula logica, sappiamo che l’algoritmo SAT risolve il problema della soddisfacibilità booleana. In poche parole l’algoritmo determina se la formula logica può essere resa vera da un’appropriata assegnazione di valori di verità (vero o falso) alle sue variabili. SAT è il primo problema per cui è stata dimostrata Leggi tutto…
Per delle previsioni più accurate nel machine learning (oppure nel data mining) vengono utilizzati i classificatori ensemble, i quali combinano le previsioni di più modelli con lo scopo di produrre una previsione finale più accurata rispetto a quella che si potrebbe ottenere da qualsiasi modello singolo. Ovviamente, aumenta la complessità computazionale Leggi tutto…
Uno dei concetti fondamentali nel mondo dei sistemi distribuiti, oltre a scalabilità e tolleranza ai guasti, è quello della trasparenza. Cosa intendo? Cosa succede quando ti ritrovi davanti a qualcosa di trasparente? Non la vedi! Il concetto è proprio questo, ovvero utilizzare un sistema distribuito senza sapere in che modo Leggi tutto…
La matrice di confusione è utilizzata per valutare le metriche dei modelli di classificazione (molto popolari nel data mining). Mette in evidenza il confronto tra le classi predette e quelle reali per fare una stima dell’affidabilità del classificatore stesso. Inoltre, permette di identificare il tipo di errore di classificazione. Come Leggi tutto…
Durante la fase di progettazione di un sistema distribuito c’è un aspetto fondamentale da non sottovalutare. Il teorema CAP è stato formulato negli anni 2000 da Brewer (fondatore di Inktomi e chief scientist di Yahoo) afferma che è impossibile per un sistema distribuito fornire contemporaneamente tutte le tre seguenti proprietà: Leggi tutto…
L’adozione di tecnologie avanzate, come l’automazione e l’intelligenza artificiale, sta rivoluzionando il settore logistico, con Amazon che guida questa trasformazione attraverso l’impiego di robot innovativi nei suoi centri di distribuzione globali. Sequoia e Digit, due delle più recenti aggiunte alla flotta di soluzioni automatizzate di Amazon, sono esempi lampanti di Leggi tutto…