Artemis Artemis
 

Artemis >
ΣΗΜΜΥ >
Διπλωματικές Εργασίες (Theses) >

Please use this identifier to cite or link to this item: http://artemis-new.cslab.ece.ntua.gr:8080/jspui/handle/123456789/8236

Title: Υλοποίηση Αρχιτεκτονικής Ανάλυσης Ροών Δεδομένων Σε Πραγματικό Χρόνο Με Υποστήριξη Μεθόδων Αποθήκευσης Στοιχείων Και Εξόρυξης Πληροφορίας
Authors: Χατζηκυριάκος Γιώργος
Supervisor: Βαρβαρίγου Θεοδώρα
Keywords: big data ; hdfs ; yarn ; data warehousing ; outsourcing ; stream processing ; apache kafka ; spark streaming ; batch processing ; apache spark ; μη σχεσιακές βάσεις δεδομένων ; apache hbase ; apache avro ; yelp dataset challenge ; apache zookeeper
Issue Date: 11-Sep-2017
Abstract: Την σημερινή εποχή του Διαδικτύου και της πληροφορίας η παραγωγή δεδομένων είναι πιο μεγάλη από ποτέ και θα συνεχίζει να αυξάνεται με εκθετικούς ρυθμούς. Οι αλλαγές αυτές έχουν δημιουργήσει τον δημοφιλή όρο «Big Data», για την περιγραφή αυτών των μεγάλων ποσοτήτων πληροφορίας. Ένα πολύ σημαντικό χαρακτηριστικό αυτών των δεδομένων είναι η ταχύτητα με την οποία παράγονται καθώς και το γεγονός ότι υπάρχουν πια πολλές πηγές πληροφορίας που δεν υπήρχαν στο κοντινό παρελθόν όπως για παράδειγμα τα μέσα κοινωνικής δικτύωσης. Κάθε επιχείρηση, οργανισμός αλλά και κάθε ξεχωριστός άνθρωπος αποτελεί μία πηγή αναπαραγωγής δεδομένων. Η ανάλυση αυτών των πληροφοριών είναι κρίσιμη και απαιτεί ιδιαίτερη τεχνογνωσία, πράγμα που οδηγεί τους οργανισμούς να αναθέτουν συχνά την εργασία αυτή σε τρίτους (Outsourcing). Tα τελευταία χρόνια γίνεται λόγος για επεξεργασία σε πραγματικό χρόνο, δηλαδή την ώρα παραγωγής της πληροφορίας. Με αυτό τον τρόπο μπορούν να εξάγονται συμπεράσματα όσο το δυνατόν πιο γρήγορα και οι οργανισμοί μπορούν να προβλέψουν γεγονότα ή να έχουν ανταγωνιστικό πλεονέκτημα. Γι’ αυτό στην παρούσα εργασία καλούμαστε να σχεδιάσουμε μία αρχιτεκτονική για την ανάλυση ροών δεδομένων σε πραγματικό χρόνο που όμως ταυτόχρονα θα προσφέρει και δυνατότητες αποθήκευσης στοιχείων καθώς και επεξεργασία σε παρτίδες. Οπότε, θα μελετήσουμε τεχνολογίες που αφορούν την επεξεργασία ροών πληροφορίας, όπως η Apache Kafka, καθώς και άλλες τεχνολογίες που ειδικεύονται στην επεξεργασία και αποθήκευση Big Data, όπως η Apache HBase και το Apache Spark. Στη πορεία θα φτιάξουμε και θα επεξηγήσουμε στοιχεία της αρχιτεκτονικής που θα συνδέει αυτά τα εργαλεία δημιουργώντας έτσι το τελικό σύστημα. Θα αναλύσουμε επίσης ορισμένα χαρακτηριστικά που αφορούν το σενάριο χρήσης που επιλέξαμε για την πειραματική αξιολόγηση της πλατφόρμας. Στο τέλος θα προσομοιώσουμε κάποιες ροές δεδομένων για να ελέγξουμε πώς δουλεύει το σύστημα και για να πάρουμε μετρήσεις που θα οδηγήσουν στην τελική αξιολόγηση.
Notes: 
Appears in Collections:Διπλωματικές Εργασίες (Theses)

Files in This Item:

File SizeFormat
DT2017-0199.pdf3.58 MBAdobe PDFView/Open
View Statistics

Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.

 

Valid XHTML 1.0! DSpace Software Copyright © 2002-2010  Duraspace - Feedback