Gli RDD (Resilient Distributed Dataset) rappresentano una delle astrazioni fondamentali offerte da Apache Spark per la gestione e l’elaborazione dei dati in modalità distribuita. Gli RDD sono progettati per essere una collezione di elementi distribuiti su diversi nodi di calcolo, Leggi tutto…
Data una formula logica, sappiamo che l’algoritmo SAT risolve il problema della soddisfacibilità booleana. In poche parole l’algoritmo determina se la formula logica può essere resa vera da un’appropriata assegnazione di valori di verità (vero o falso) alle sue variabili. Leggi tutto…
Per delle previsioni più accurate nel machine learning (oppure nel data mining) vengono utilizzati i classificatori ensemble, i quali combinano le previsioni di più modelli con lo scopo di produrre una previsione finale più accurata rispetto a quella che si Leggi tutto…
Uno dei concetti fondamentali nel mondo dei sistemi distribuiti, oltre a scalabilità e tolleranza ai guasti, è quello della trasparenza. Cosa intendo? Cosa succede quando ti ritrovi davanti a qualcosa di trasparente? Non la vedi! Il concetto è proprio questo, Leggi tutto…
La matrice di confusione è utilizzata per valutare le metriche dei modelli di classificazione (molto popolari nel data mining). Mette in evidenza il confronto tra le classi predette e quelle reali per fare una stima dell’affidabilità del classificatore stesso. Inoltre, Leggi tutto…
Durante la fase di progettazione di un sistema distribuito c’è un aspetto fondamentale da non sottovalutare. Il teorema CAP è stato formulato negli anni 2000 da Brewer (fondatore di Inktomi e chief scientist di Yahoo) afferma che è impossibile per Leggi tutto…
L’adozione di tecnologie avanzate, come l’automazione e l’intelligenza artificiale, sta rivoluzionando il settore logistico, con Amazon che guida questa trasformazione attraverso l’impiego di robot innovativi nei suoi centri di distribuzione globali. Sequoia e Digit, due delle più recenti aggiunte alla Leggi tutto…
Come saprai, il clustering è un concetto relativo al mondo del data mining e del machine learning non supervisionato (quindi il dataset non contiene dati etichettati). Il suo obiettivo è quello di formare gruppi (cluster appunto) di oggetti in modo Leggi tutto…
Nel momento in cui andrai a strutturare un progetto di data mining o di machine learning non è difficile incappare nella situazione in cui il dataset di lavoro contenga valori mancanti. I valori mancanti nei dataset possono derivare da diverse Leggi tutto…
Nel machine learning la generalizzazione è un concetto fondamentale, in quanto l’obiettivo finale di qualsiasi modello è di funzionare bene non solo sui dati di addestramento, ma soprattutto su dati nuovi. Infatti, se un modello ha un’eccellente performance sul training Leggi tutto…