+ - 0:00:00
Notes for current slide
Notes for next slide

Default-aligned image

1 / 23

Datawarehousing for Cloud

Computing Metrics

2 / 23

Inhalt

  • Einleitung

  • Vorstellung - Aktuelle Situation

  • Management-Methoden

  • Vorbereitung

  • Realisierung

  • Risiken und unerwartete Probleme

  • Abschluss

3 / 23

Einleitung

Default-aligned image

© Hetzner Online GmbH

4 / 23

Einleitung

Default-aligned image

© Google Inc.

5 / 23

Vorstellung

Default-aligned image

© Puppet Inc.

6 / 23
  • Marktführer im Bereich Konfigurationsmanagment Lösung
    • Kernprodukt ist gleichnahmiges Produkt Puppet
    • Projekt Betreuer Agile Entwicklung und Testverfahren

Marktlage

Default-aligned image

  • Telemetry ist ein Teilprojekt von OpenStack

    • Datenbank MongoDB getestet durch Kyle Kingsbury

    • Hohe Hardwareanforderung

    • Benötigt OpenStack Cloud Umgebung

© Julien Danjou

7 / 23

Management

Scrum

  • Arbeit in Sprints

  • Review & Retrospective

  • Beliebt unter Entwicklern

  • Sehr starr

  • Nicht geeignet für asynchrones Arbeiten

8 / 23
  • Scrum am weitesten verbreitet in der Wirtschaft
  • Anforderungen an Projektmanagementlösungen
    • Unvorhersehbar
    • Schnell wechselnde anforderungen
  • Standups
  • Darf man nur Scrum nennen wenn man alles genau so macht

Management

Scrum

Agil

  • Flexible Kombination aus Scrum und Kanban

  • Nutzung von einzelnen Elementen

    • Sprints

    • R&R

    • Decommissioning

9 / 23
  • Pool aus Methoden die in Scrum und Kanban genutzt werden
  • Man nutzt was am besten passt, lässt rest weg
  • Puppet

Management

Scrum

Agil

Werkzeuge

  • Code Management

    • Git

    • GitHub

    • Continuous Integration: Travis

    • Continuous Delivery: Jenkins

  • Projekt Management

    • Jira

    • Confluence

    • Telegram

  • Tests

    • Acceptance Tests: Beaker

    • Unit Tests: RSpec

    • Integration Tests: Spring

10 / 23
  • SVN bei gruppe im vorjahr
  • Puppet hat erfahrung mit allem

Vorbereitung

  • Absprache mit Auftraggeber bezüglich des Lösungsbildes

  • Auswahl von Software zur Realisierung

  • Aneignen von Git und Methoden

  • Frühzeitig Meilenstein definieren

    • Ersten Prototyp abliefern
11 / 23
  • Lösungansätze
  • Anforderungen an Teilbereichen stellen

Realisierung

Default-aligned image

12 / 23
  • collectd auf hypervisors sammelt metriken
  • werden an beliebig viele logstash instanzen geschickt
    • cached eingehende daten, aufbereitung
  • Postgresql tabelle mit json als bus
  • Daten von dort per ETL prozess in finale tabellen
  • API RESTFul schema angelehnt, CRUD support
  • Alles mit Puppet

Realisierung

Datenerfassung

Right-aligned image

13 / 23
  • Input Plugin
    • Pro format ein plugin
    • Collectd kann ausgetauscht werden
  • Filter plugin
    • Serialisierung
    • XML -> JSON
    • Einheitliches Datumsformat
  • Outputplugin
    • Jedes Backend ansprechbar

Realisierung

Datenerfassung

ETL

Right-aligned image

14 / 23

Realisierung

Datenerfassung

ETL

Partitioning

Right-aligned image

15 / 23

Realisierung

Datenerfassung

ETL

Partitioning

API

  • Bereistellung von Funktionen

    • Datenverarbeitung muss nicht in SQL erfolgen

    • Vorgabe der Daten durch die API

    • Keine Notwendigkeit für direkte SQL Queries

  • Zusätzliche Abstraktionsschicht

    • Zusätzlicher Cache

    • Datenbankaustausch ist transparent für Grafana

  • Kleinere Angriffsfläche auf das Interface

    • HTTP API vs SQL

    • Einfacher zu testen

Right-aligned image

16 / 23

Realisierung

Datenerfassung

ETL

Partitioning

API

Visualisierung

Right-aligned image

Right-aligned image

17 / 23
  • Graph besteht aus 2 Vektoren (Knoten und Kante)

    • Daten werden aus der API erhalten

    • Threshold / Schwellenwert

Realisierung

Datenerfassung

ETL

Partitioning

API

Visualisierung

Userstorys

  • SSD Userstory

  • CPU Userstory

  • Memory Userstory

  • Zeitdefinierte Analyse Userstory

  • Webinterface Userstory

18 / 23

Realisierung

Datenerfassung

ETL

Partitioning

API

Visualisierung

Userstorys

Wireframe

Default-aligned image

19 / 23

Risiken

  • Risk Register definieren

  • Präventivmaßnahmen

  • Post Mortem Maßnahmen

20 / 23

Risiken

Right-aligned image

21 / 23
  • Kaputte Spühlmaschine unvorhersehbar
  • undicht, Auf raviolidosen damit das wasser auslaufen kann
  • 1 tag arbeit
  • mehrere tage psychische belastung

Ausblick

  • Alerting

    • Benachrichtigung bei Schwellenwertüberschreitung
  • Quality of Service

    • Bevorzugen bestimmter Datentypen zur Live-Visualisierung
  • Cache Invalidation

    • Sicherstellung der kontinuierlichen Datenverarbeitung
  • Trendgenerierung

    • Extrapolation vorhandener Daten
22 / 23
  • Cache Invalidation

    • Schwellenwert beim Cache sobald dieser zu groß wird.
  • Trendgenerierung

    • Hochrechnung

Fazit

Solide und modulare Architektur

Flexibler und einfacher als Telemetry

Persönliche Fortbildung

© Marcel Reuter, Nikolai Luis, Tim Meusel

23 / 23
  • Viele Monate Arbeit, Gute Alternative zu Telemtry aus dem OpenStack Projekt
  • Realisierung von allen Userstorys, passender Replacemant Algorithmus der API mehr Funktionen als Telemetry
  • Ist Flexibel, da es auf Linux Hypervisor intgriert werden können
  • Praktischer Wissenschatz, neue Wissensinhalte u. Arbeitsmethoden
  • Belastbarkeit jedes einzelnen wurde erforscht.

Datawarehousing for Cloud

Computing Metrics

2 / 23
Paused

Help

Keyboard shortcuts

, , Pg Up, k Go to previous slide
, , Pg Dn, Space, j Go to next slide
Home Go to first slide
End Go to last slide
Number + Return Go to specific slide
b / m / f Toggle blackout / mirrored / fullscreen mode
c Clone slideshow
p Toggle presenter mode
t Restart the presentation timer
?, h Toggle this help
Esc Back to slideshow