Back to Search

Untersuchung der Migration einer MySQL basierten Monitoring & Data-Warehouse Lösung nach Hadoop

AUTHOR Kress, Jonas
PUBLISHER Grin Verlag (07/25/2013)
PRODUCT TYPE Paperback (Paperback)

Description
Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule f r Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpr senzen flie en, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der st ndig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten f r Auswertungen steigen und die Agilit t sinkt. Kleine Optimierungen und Ver nderungen des Systems k nnen das Unbrauchbarwerden hinausz gern, als aber aus Gr nden der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schlie lich klar, dass nur eine grundlegende Ver nderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren F higkeiten die Leistung des bestehenden Dataware-Houses verbessern k nnen. Dies f hrte zu Hadoop Fouc] Whi10a], einem Open Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster erlaubt. Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von Hadoop ersetzt werden k nnen. Sie wertet die M glichkeiten zur Strukturierung von Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich die Zeit von Abfragen im Verh ltnis zu einer stetig steigenden Datenmenge verh lt und analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten. Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut zum Speichern von einer sehr gro en Menge an semistrukturierten Daten eignet und die Dataware-House Komponente Hive durch die Unterst tzung eines SQL hnlichen Syntax das Erstellen von Abfragen komfortabel erm glicht. Die Literatur beschreibt, dass HBase automatisch linear mit dem Hinzuf gen von neuen Knoten skaliert. Der durchgef hrte Benchmark zeigt, dass die Ausf hrungs-Zeit der getesteten Abfragen fast g
Show More
Product Format
Product Details
ISBN-13: 9783656440475
ISBN-10: 3656440476
Binding: Paperback or Softback (Trade Paperback (Us))
Content Language: German
More Product Details
Page Count: 106
Carton Quantity: 66
Product Dimensions: 5.83 x 0.25 x 8.27 inches
Weight: 0.33 pound(s)
Feature Codes: Illustrated
Country of Origin: US
Subject Information
BISAC Categories
Computers | Business & Productivity Software - General
Computers | Programming - General
Descriptions, Reviews, Etc.
publisher marketing
Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule f r Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpr senzen flie en, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der st ndig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten f r Auswertungen steigen und die Agilit t sinkt. Kleine Optimierungen und Ver nderungen des Systems k nnen das Unbrauchbarwerden hinausz gern, als aber aus Gr nden der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schlie lich klar, dass nur eine grundlegende Ver nderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren F higkeiten die Leistung des bestehenden Dataware-Houses verbessern k nnen. Dies f hrte zu Hadoop Fouc] Whi10a], einem Open Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster erlaubt. Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von Hadoop ersetzt werden k nnen. Sie wertet die M glichkeiten zur Strukturierung von Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich die Zeit von Abfragen im Verh ltnis zu einer stetig steigenden Datenmenge verh lt und analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten. Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut zum Speichern von einer sehr gro en Menge an semistrukturierten Daten eignet und die Dataware-House Komponente Hive durch die Unterst tzung eines SQL hnlichen Syntax das Erstellen von Abfragen komfortabel erm glicht. Die Literatur beschreibt, dass HBase automatisch linear mit dem Hinzuf gen von neuen Knoten skaliert. Der durchgef hrte Benchmark zeigt, dass die Ausf hrungs-Zeit der getesteten Abfragen fast g
Show More
List Price $67.90
Your Price  $67.22
Paperback