Was ist ein LSTM Neural Network?

Erfahren Sie, was ein LSTM Neural Network ist, wie es funktioniert, welche Vorteile und Einschränkungen es im Vergleich zu anderen Arten neuronaler Netzwerke hat, welche gängigen Verwendungszwecke es hat und welche spezifischen Branchenanwendungen es gibt.

Ein LSTM Neural Network (Long Short-Term Memory) ist eine Art rekurrentes neuronales Netz, das sich Informationen über einen langen Zeitraum merken und die gespeicherten Daten für zukünftige Berechnungen verwenden kann. Ein LSTM-Netz wurde erstmals 1997 vorgeschlagen und ist ein Deep-Learning-Algorithmus, der einige der Probleme rekurrenter neuronaler Netze überwindet, darunter auch solche, die mit der Speicherung von Daten zusammenhängen.

LSTM Neural Network können für Sprachübersetzung, Videoanalyse, Keyword-Erkennung, Text-to-Speech-Übersetzung und Sprachmodellierung verwendet werden. Dieser Artikel erklärt, wie LSTM Neural Network funktionieren und beschreibt, wie man eine Karriere in diesem Bereich beginnt.

Was ist ein LSTM Neural Networkund wie funktioniert es?

Dieser spezielle Typ rekurrierender Netzwerke kann gespeicherte Daten länger speichern. LSTM-Neuronale Netzwerke überwinden auch ein wiederkehrendes Problem, das bei herkömmlichen rekurrierenden neuronalen Netzwerken (RNNs) häufig auftritt: die sogenannte Gradientendispersion, manchmal auch als Problem des verschwindenden Gradienten bezeichnet. 

So funktionieren RNNs 

Um zu verstehen, wie ein neuronales Netzwerk mit langem Kurzzeitgedächtnis funktioniert, ist es hilfreich, zunächst etwas über RNNs im Allgemeinen zu lernen. Rekurrente neuronale Netzwerke merken sich die Ergebnisse vorheriger Eingaben und können vergangene Trends zur Information aktueller Berechnungen nutzen.

Sie können neuronale Netzwerke beispielsweise für die Übersetzung von Sprachen verwenden, da das neuronale Netzwerk lernen kann, wie sich die Wortanordnung in einem Satz auf die Bedeutung in verschiedenen Sprachen auswirkt. „Die schwarze Katze“ folgt den englischen Grammatikregeln, aber um es ins Spanische zu übersetzen, müssen Sie die Anordnung des Substantivs und des Adjektivs vertauschen: „El gato negro“. Ein rekurrentes neuronales Netzwerk kann sich diese Details merken und Ihnen eine genaue Übersetzung liefern.

LSTM Neural Network vs. traditionelle RNNs

LSTM-Netzwerke bieten nicht nur einen robusteren Speicher, sondern ignorieren auch nutzlose Daten, um das Problem des verschwindenden Gradienten zu überwinden, das bei herkömmlichen RNNs auftritt. Um sich die Daten zu „merken“, verwendet ein herkömmliches RNN Backpropagation, um die Ausgabe durch das neuronale Netzwerk zurückzuleiten und die Gewichte jeder Schicht entsprechend zu aktualisieren, beginnend mit der Ausgabeschicht und rückwärts bis zur Eingabe. 

Mit der Zeit wird der Gradient oder die Differenz zwischen dem aktuellen und dem zukünftigen Gewicht immer kleiner. Dies führt zu Problemen, die das neuronale Netzwerk daran hindern können, Änderungen vorzunehmen oder nur minimale Änderungen vorzunehmen, insbesondere in den ersten Schichten des Netzwerks. Letztendlich führt dies dazu, dass das Netzwerk seine Lerngeschwindigkeit deutlich verlangsamt und möglicherweise sogar ganz aufhört zu lernen. 

Ein LSTM Neural Network kann Gradientendispersion überwinden, indem es Funktionalität in Form von Gates hinzufügt: ein Eingangsgate, ein Ausgangsgate und ein Forget-Gate. Diese ermöglichen dem Neuralnetz ein viel längeres Gedächtnis und eine bessere Kontrolle darüber, wie sich vorherige Erfahrungen auf die Netzwerkgewichte auswirken. Mit anderen Worten: Ein LSTM Neural Network kann ein traditionelles RNN übertreffen, weil es sein eigenes Lernen ausreichend steuern kann, um zu vermeiden, dass die Gradienten zu groß oder zu klein werden. 

Wofür werden LSTM Neural Network verwendet?

Benutzer entscheiden sich häufig für die Verwendung eines LSTM Neural Network, um mit sequenziellen oder Zeitreihendaten zu arbeiten. Aber auch neuronale Netzwerke mit langem Kurzzeitgedächtnis sind flexibel und können an viele verschiedene Trainingsmodelle angepasst werden. Einige Verwendungsmöglichkeiten für LSTM Neural Network sind:

• Sprache-zu-Text-Übersetzung: LSTM-neuronale Netzwerke können gesprochene Wörter in geschriebene Sprache umwandeln.
• Sprachübersetzung: LSTM-neuronale Netzwerke können große Textmengen schnell von einer Sprache in eine andere übersetzen.
• Sentimentanalyse: LSTM-Netzwerke können die Emotionen hinter Texten analysieren. Beispielsweise können LSTM-Netzwerke Erwähnungen einer Marke in sozialen Medien untersuchen, um zu verstehen, wie die Menschen über die Marke denken. 
• Videoanalyse : LSTM-neuronale Netzwerke können Videos und Bilder analysieren, um die vorhandenen Merkmale zu verstehen. 
• Schlüsselworterkennung : Ein neuronales LSTM-Netzwerk kann gesprochene „Schlüsselwörter“ erkennen, um ein System zu aktivieren. Sie können beispielsweise einen bestimmten Satz aussprechen, bevor Sie Ihrem Sprachassistenten einen Befehl erteilen.

Wer verwendet LSTM-neuronale Netzwerke?

Netzwerke mit langem Kurzzeitgedächtnis können in so unterschiedlichen Branchen wie Bohren, Wassermanagement, Lieferketten und der Vorhersage von Infektionskrankheiten Vorteile bieten. Sehen wir uns diese Anwendungsfälle für diese Technologie genauer an.

• Bohren: Bei Bohrvorgängen, wie sie beispielsweise auf Ölfeldern durchgeführt werden, werden LSTM Neural Network verwendet, um die Bohrgeschwindigkeit bzw. die Geschwindigkeit, mit der die Bohrausrüstung in die Erde eindringt, zu optimieren. Variablen wie Hydraulik, Lithologie und das Gewicht, das auf den Bohrer drückt, wirken sich auf die Bohrgeschwindigkeit aus. Ein Neuralnetz kann all diese Variablen berücksichtigen und ein optimiertes Modell für die beste Bohrgeschwindigkeit erstellen.
• Wassermanagement: Verdunstung ist ein wichtiger Faktor, den Meteorologen und andere Wissenschaftler bei der Verwaltung von Wasserressourcen berücksichtigen müssen. Wissenschaftler können LSTM Neural Network verwenden, um Verdunstung zu prognostizieren und zu modellieren, was zu präziseren Modellen führt. Die korrekte Messung der Verdunstung kann jedoch aus verschiedenen Gründen schwierig sein, darunter Wetterbedingungen und die Schwierigkeit der Geräteverwaltung.
• Supply Chain Management: LSTM Neural Network können Anomalien erkennen und so Daten ermitteln, die bei Entscheidungen nicht berücksichtigt werden sollten. Sie können beispielsweise die Entscheidungszeit in Branchen wie dem Supply Chain Management verkürzen, in denen kontinuierlich viele Daten eingehen, von denen jedoch nicht alle relevant und umsetzbar sind. 
• Modellierung von Infektionskrankheiten: Wissenschaftler verwendeten LSTM Neural Network, um Modelle zur Darstellung der Ausbreitung von COVID-19 zu erstellen. Krankenhäuser und Regierungen nutzten diese Modelle, um sich auf steigende Fallzahlen vorzubereiten.

Vorteile und Herausforderungen von LSTM Neural Network

Neuronale Netzwerke mit langem Kurzzeitgedächtnis bieten Flexibilität, verbesserte Speicherleistung und die Fähigkeit, mit Gradientendispersion verbundene Probleme zu überwinden. Einige der weiteren Vorteile von LSTM-Netzwerken sind:

• Vorteil langfristiger Abhängigkeiten: LSTMs können langfristige Abhängigkeiten besser verwalten, da das Netzwerk durch das Forget Gate irrelevante Informationen verwerfen kann.
• Effizienter : LSTM-neuronale Netzwerke müssen ihre Gates für jeden neuen Input aktualisieren, aber ein typisches RNN würde jeden Knoten durchgehend aktualisieren, was viel mehr Zeit und Rechenleistung in Anspruch nehmen würde.
• Hohe Vorhersagegenauigkeit: Durch die Fähigkeit, sich an die Vergangenheit zu erinnern, stehen dem neuronalen Netzwerk mehr Daten zur Verfügung, um genauere Vorhersagen zu treffen.

Netzwerke mit langem Kurzzeitgedächtnis haben jedoch auch Einschränkungen, die Sie kennen sollten. Sie neigen beispielsweise zu Überanpassung, einem weiteren häufigen Problem neuronaler Netzwerke. Dies geschieht, wenn sich das neuronale Netzwerk zu stark auf die Trainingsdaten spezialisiert und sich nicht an neue Eingaben anpassen und verallgemeinern kann. 

Eine weitere Herausforderung bei LSTM-Neuronalen Netzwerken besteht darin, dass sie mehr Rechenleistung und Speicher benötigen . Dies liegt teilweise an ihrer Komplexität. Mehrere Strategien können Ihnen helfen, dieses Problem zu überwinden, darunter die absichtliche Reduzierung der Komplexität oder die Verwendung anderer Technologien zur Ergänzung des neuronalen Netzwerks. 

Mehr lesen: Matthias Klagge Schlaganfall: Ein umfassender Leitfaden

Erfahren Sie mehr mit Coursera.

Um das Gespräch fortzusetzen, sollten Sie sich für eine Spezialisierung anmelden, um mehr zu lernen und Ihre Fähigkeiten auf die nächste Ebene zu bringen. Die von Deep Learning.AI auf Coursera angebotene Deep Learning-Spezialisierung ist eine fünfteilige Kursreihe, die Ihnen dabei hilft, mehr über künstliche neuronale Netzwerke zu erfahren, einschließlich Faltungs- und rekurrierender Netzwerke. Sie entwickeln Fähigkeiten im Umgang mit RNNs, Trainingstestsätzen und natürlicher Sprachverarbeitung.