Gli RDD (Resilient Distributed Dataset) rappresentano una delle astrazioni fondamentali offerte da Apache Spark per la gestione e l’elaborazione dei dati in modalità distribuita. Gli RDD sono progettati per essere una collezione di elementi distribuiti su diversi nodi di calcolo, permettendo un’elaborazione parallela efficiente e scalabile. Read-Only: Gli RDD sono Leggi tutto…
Data una formula logica, sappiamo che l’algoritmo SAT risolve il problema della soddisfacibilità booleana. In poche parole l’algoritmo determina se la formula logica può essere resa vera da un’appropriata assegnazione di valori di verità (vero o falso) alle sue variabili. SAT è il primo problema per cui è stata dimostrata Leggi tutto…
Per delle previsioni più accurate nel machine learning (oppure nel data mining) vengono utilizzati i classificatori ensemble, i quali combinano le previsioni di più modelli con lo scopo di produrre una previsione finale più accurata rispetto a quella che si potrebbe ottenere da qualsiasi modello singolo. Ovviamente, aumenta la complessità computazionale Leggi tutto…
Uno dei concetti fondamentali nel mondo dei sistemi distribuiti, oltre a scalabilità e tolleranza ai guasti, è quello della trasparenza. Cosa intendo? Cosa succede quando ti ritrovi davanti a qualcosa di trasparente? Non la vedi! Il concetto è proprio questo, ovvero utilizzare un sistema distribuito senza sapere in che modo Leggi tutto…
La matrice di confusione è utilizzata per valutare le metriche dei modelli di classificazione (molto popolari nel data mining). Mette in evidenza il confronto tra le classi predette e quelle reali per fare una stima dell’affidabilità del classificatore stesso. Inoltre, permette di identificare il tipo di errore di classificazione. Come Leggi tutto…
Durante la fase di progettazione di un sistema distribuito c’è un aspetto fondamentale da non sottovalutare. Il teorema CAP è stato formulato negli anni 2000 da Brewer (fondatore di Inktomi e chief scientist di Yahoo) afferma che è impossibile per un sistema distribuito fornire contemporaneamente tutte le tre seguenti proprietà: Leggi tutto…
L’adozione di tecnologie avanzate, come l’automazione e l’intelligenza artificiale, sta rivoluzionando il settore logistico, con Amazon che guida questa trasformazione attraverso l’impiego di robot innovativi nei suoi centri di distribuzione globali. Sequoia e Digit, due delle più recenti aggiunte alla flotta di soluzioni automatizzate di Amazon, sono esempi lampanti di Leggi tutto…
Come saprai, il clustering è un concetto relativo al mondo del data mining e del machine learning non supervisionato (quindi il dataset non contiene dati etichettati). Il suo obiettivo è quello di formare gruppi (cluster appunto) di oggetti in modo tale che gli oggetti nello stesso gruppo siano più simili Leggi tutto…
Nel momento in cui andrai a strutturare un progetto di data mining o di machine learning non è difficile incappare nella situazione in cui il dataset di lavoro contenga valori mancanti. I valori mancanti nei dataset possono derivare da diverse cause, come ad esempio un errore nella raccolta dei dati, Leggi tutto…
Nel machine learning la generalizzazione è un concetto fondamentale, in quanto l’obiettivo finale di qualsiasi modello è di funzionare bene non solo sui dati di addestramento, ma soprattutto su dati nuovi. Infatti, se un modello ha un’eccellente performance sul training set ma non riesce a mantenere un livello simile di Leggi tutto…