Zum Inhalt wechseln
LG4ML
  • Start
  • Idee
  • Projekte
  • Über uns
  • Wiki
  • Blog

Buzzwords

7
  • Transfer Learning
  • Machine Learning
  • Künstliche Intelligenz
  • Deep Learning
  • Data Science Workflow
  • Computer Vision
  • Big Data

Computer Vision

3
  • YOLOv4
  • Object Tracking
  • Frame Differencing

Grundlagen

14
  • Unüberwachtes Lernen
  • Überwachtes Lernen
  • Trainingsphase
  • Sampling
  • Regression
  • Preprocessing
  • Metrics
  • Klassifikation
  • Hyperparameter Tuning
  • Hyperparameter
  • Distanzmetriken
  • Data Science Workflow
  • Data Exploration
  • Cross Validation

Lernverfahren

8
  • Support Vector Machine
  • Principal Component Analysis
  • Perceptron
  • Logistische Regression
  • Lineare Regression
  • K-Nearest-Neighbours
  • K-Means
  • Decision Tree

Neuronale Netze

5
  • Verlustfunktion
  • Transfer Learning
  • Künstliches Neuron
  • Early Stopping
  • Aktivierungsfunktion

Preprocessing

8
  • Value Imputation
  • Scaling
  • Principal Component Analysis
  • Outlier Detection Basic
  • Outlier Detection Advanced
  • Frequenz Filter
  • Feature Engineering
  • Data Augmentation

Python Pakete

1
  • Data-Science Pakete
View Categories
  • Startseite
  • Docs
  • Buzzwords
  • Big Data

Big Data

2 min read

Big Data ist ein Überbegriff und umschreibt Sammlungen von strukturierten und unstrukturierten Daten, die zu groß sind, um mit herkömmlichen Methoden verarbeitet zu werden. Eine feste Größe, ab wann von Big Data gesprochen werden darf oder auch nicht, gibt es dabei jedoch nicht. Generell handelt es sich jedoch um Daten, die im Terrabyte Bereich liegen und zu groß sind, um auf einmal verarbeitet zu werden.

Beispiel für Big Data: Smarte Stadt, in der Geräte miteinander verbunden sind und Daten austauschen

Beispiel für eine Quelle von Big Data könnte bspw. eine vernetze Stadt sein, in der tausende von Sensoren Messwerte erfassen und die BewohnerInnen mit GPS Trackern verfolgt werden. Aus solchen miteinander kombinierten Daten könnte dann etwa der Verkehr innerhalb der Stadt optimiert oder auch das Verhalten über den Tag einzelner BürgerInnen untersucht werden. Dieses Beispiel zeigt jedoch auch gut auf, dass Big Data auch zur Überwachung eingesetzt werden kann und somit aus datenschutzrechtlicher Perspektive teilweise kritische gesehen wird. Dieser Artikel stellt nachfolgend zunächst die verschiedenen Arten von Daten vor und geht im Anschluss weiter auf die Anwendungen von Big Data ein.

Verschiedene Datenarten #

Um Daten clustern zu können, muss erst einmal die Frage gestellt werden, was sind überhaupt Daten? Unter dem Begriff Daten versteht man sich allgemein eine Information, die in digitaler Form vorliegt und von einem Computer verstanden bzw. gelesen werden kann. Bilder etwa lassen sich durch eine 3-dimensionale Matrix von Zahlen speichern, die sogenannten RGB-Channel. Der Computer weiß zwar direkt nicht, was auf dem Bild dargestellt wird (außer durch den Einsatz von Computer Vision), jedoch weiß er wie die Daten zu lesen und in eine für den Menschen verständliche Form zu bringen sind. Weitere Beispiele für Daten sind unter anderem:

  • Sensordaten – Temperatur, Geschwindigkeit oder Audioaufnahmen (auch Mikrofone sind Sensoren)
  • Texte – Kurznachrichten wie etwa Tweets, E-Books und Ähnliches
  • Logdaten – Zugriffszahlen auf eine Webseite, Ein- und Ausstempeln beim Arbeiten
  • . . .

Alle Daten lassen dabei in drei verschiedene Bereiche bzw. Formen unterteilen:

Strukturierte Daten
CSV-Dateien, Tabellen, …
Semistrukturierte Daten
XML, JSON, …
Unstrukturierte Daten
Text, Audio, Bilder, …

Alle Daten lassen sich in einen dieser drei Bereiche einordnen, wobei die Zuordnung teilweise nicht ganz eindeutig ist und die Grenzen nicht klar formuliert sind. Je nach Art der Daten sind unterschiedliche Methoden zur weiteren Verarbeitung erforderlich. Bspw. ist das Pandas Paket sehr gut für strukturierte Daten wie Tabellen geeignet, kann jedoch mit unstrukturierten Daten wie etwa Audiosignalen wenig bis gar nicht anfangen. Auch im Bereich des maschinellen Lernens haben sich unterschiedliche Ansätze entwickelt, mit den verschiedenen Formen der Daten umzugehen.

Big Data setzt sich aus allen drei Bereichen zusammen und entsteht häufig erst, da Daten aus verschiedenen Quellen zusammengeführt und weiterverarbeitet werden. Gerade durch die Kombination von Datenquellen und der Verbindung von unstrukturierten mit strukturierten Daten lassen sich spannende Insights aufdecken. Ein Beispiel hierzu ist etwa die Analyse von Produktildern in Kombination mit zugehörigen Eigenschaften in tabellarischer Form.

Rechtliche Einschränkungen #

Wie bereits im oberen Teil angeschnitten, ist Big Data aus datenschutzrechtlicher Perspektive ein viel diskutiertes Thema, da es sich in den allermeisten Fällen bei den Datenbeständen um personenbezogene Daten handelt, die anschließend von Unternehmen weiter analysiert und gespeichert werden. Nutzende wissen dabei an vielen Stellen nicht, was tatsächlich mit ihren Daten passiert und zu welchen Zwecken diese langfristig gespeichert werden. Innerhalb der EU regelt die DSGVO grundlegende Fragen zum Datenschutz, jedoch haben Unternehmen nach wie vor viel Spielraum und einige Big Data Anwendungen sollten zumindest kritisch hinterfragt werden.

Weiterführende Links:
Was ist Big Data? Definition und Beispiele: https://www.ionos.de/digitalguide/online-marketing/web-analyse/big-data-definition-und-beispiele/
What is Big Data?: https://www.oracle.com/big-data/what-is-big-data/
Datenschutz Grundverordnung DSGVO: https://dsgvo-gesetz.de/

Updated on 13/03/2022

What are your Feelings

  • Happy
  • Normal
  • Sad
Share This Article :
  • Facebook
  • X
  • LinkedIn
  • Pinterest

Schreibe einen Kommentar Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Inhalt
  • Verschiedene Datenarten
  • Rechtliche Einschränkungen

LG4ML

Promoting Machine Learning from Lüneburg!

© 2025 LG4ML

Navigation

  • Kontakt
  • Datenschutzerklärung
  • Impressum

Folge uns auf

Github Slack Instagram

Made with 🍺 in Lüneburg.

Cookie-Hinweis
Wir verwenden Cookies auf unserer Website, um Ihnen die bestmögliche Erfahrung zu bieten, indem wir uns an Ihre Präferenzen und wiederholten Besuche erinnern. Wenn Sie auf "Alle akzeptieren" klicken, erklären Sie sich mit der Verwendung aller Cookies einverstanden. Sie können jedoch die Einstellungen besuchen, um eine kontrollierte Zustimmung zu erteilen.
EinstellungenAlle akzeptieren
Zustimmung verwalten

Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may affect your browsing experience.
Necessary
immer aktiv
Necessary cookies are absolutely essential for the website to function properly. These cookies ensure basic functionalities and security features of the website, anonymously.
CookieDauerBeschreibung
cookielawinfo-checkbox-analytics11 monthsThis cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics".
cookielawinfo-checkbox-functional11 monthsThe cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional".
cookielawinfo-checkbox-necessary11 monthsThis cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary".
cookielawinfo-checkbox-others11 monthsThis cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other.
cookielawinfo-checkbox-performance11 monthsThis cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance".
viewed_cookie_policy11 monthsThe cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data.
Functional
Functional cookies help to perform certain functionalities like sharing the content of the website on social media platforms, collect feedbacks, and other third-party features.
Performance
Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.
Analytics
Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics the number of visitors, bounce rate, traffic source, etc.
Advertisement
Advertisement cookies are used to provide visitors with relevant ads and marketing campaigns. These cookies track visitors across websites and collect information to provide customized ads.
Others
Other uncategorized cookies are those that are being analyzed and have not been classified into a category as yet.
SPEICHERN & AKZEPTIEREN