Informatiker entwickeln neuartige Software, um die Datenverarbeitungslast in Supercomputern intelligent auszubalancieren

Von links nach rechts: Arnab K. Paul, Zweitautor und Ph.D. Kandidat im Fachbereich Informatik; Ali Butt, Professor für Informatik; und Erstautor Bharti Wadhwa, Ph.D. Kandidat im Fachbereich Informatik. Bildnachweis: Virginia Tech

Das moderne Sprichwort „work smarter, not harder“ betont, wie wichtig es ist, nicht nur zu produzieren, sondern auch Ressourcen effizient zu nutzen.

Und es ist nicht etwas, was Supercomputer derzeit immer gut machen, insbesondere wenn es darum geht, riesige Datenmengen zu verwalten.

Aber ein Forscherteam des Department of Computer Science des College of Engineering der Virginia Tech hilft Supercomputern auf neuartige Weise dabei, effizienter zu arbeiten, indem es maschinelles Lernen verwendet, um Datenverarbeitungsaufgaben richtig auf die Tausenden von Servern zu verteilen oder auszugleichen, die dazu gehören ein Supercomputer.

Durch die Integration von maschinellem Lernen, um nicht nur Aufgaben, sondern auch Aufgabentypen vorherzusagen, fanden die Forscher heraus, dass die Last auf verschiedenen Servern im gesamten System ausgeglichen werden kann. Das Team wird seine Forschung in Rio de Janeiro, Brasilien, auf der 33. International Parallel and Distributed . präsentieren Verarbeitungssymposium am 22. Mai 2019.

Aktuelle Datenverwaltungssysteme im Supercomputing beruhen auf Ansätzen, die Servern Aufgaben im Round-Robin-Verfahren zuweisen, ohne Rücksicht auf die Art der Aufgabe oder die Datenmenge, mit der sie den Server belasten. Wenn die Last auf den Servern nicht ausgeglichen ist, verzetteln sich die Systeme von Nachzüglern und die Leistung wird stark beeinträchtigt.

“Supercomputing-Systeme sind Vorboten der amerikanischen Wettbewerbsfähigkeit im Hochleistungsrechnen”, sagte Ali R. Butt, Professor für Informatik. „Sie sind entscheidend, um nicht nur wissenschaftliche Durchbrüche zu erzielen, sondern auch die Effizienz von Systemen aufrechtzuerhalten, die es uns ermöglichen, die Geschäfte unseres täglichen Lebens zu erledigen, von der Verwendung von Streaming-Diensten zum Ansehen von Filmen über die Verarbeitung von Online-Finanztransaktionen bis hin zur Vorhersage von Wettersystemen mithilfe von Wettermodellen.“

Um ein System für maschinelles Lernen zu implementieren, baute das Team eine neuartige End-to-End-Steuerungsebene, die die anwendungszentrierten Stärken clientseitiger Ansätze mit den systemzentrischen Stärken serverseitiger Ansätze kombiniert.

„Diese Studie war ein riesiger Sprung in der Verwaltung von Supercomputing-Systemen. Was wir getan haben, hat dem Supercomputing einen Leistungsschub gegeben und bewiesen, dass diese Systeme durch maschinelles Lernen intelligent und kostengünstig verwaltet werden können“, sagte Bharti Wadhwa, Erstautor der Papier und ein Ph.D. Kandidat im Fachbereich Informatik. “Wir haben den Benutzern die Möglichkeit gegeben, Systeme ohne große Kosten zu entwerfen.”

Die neuartige Technik gab dem Team die Möglichkeit, “Augen” zu haben, um das System zu überwachen, und ermöglichte es dem Datenspeichersystem, zu lernen und vorherzusagen, wann größere Lasten auf den Hecht kommen könnten oder wann die Last für einen Server zu groß wurde. Das System lieferte auch anwendungsunabhängig Echtzeitinformationen und erstellte so eine globale Sicht auf die Vorgänge im System. Bisher konnten Server nicht lernen und Softwareanwendungen waren nicht flexibel genug, um ohne größere Neugestaltung angepasst werden zu können.

“Der Algorithmus hat die zukünftigen Anfragen von Bewerbungen über ein Zeitreihenmodell vorhergesagt”, sagte Arnab K. Paul, Zweitautor und Ph.D. Kandidat auch im Fachbereich Informatik. “Diese Fähigkeit, aus Daten zu lernen, gab uns die einzigartige Gelegenheit, zu sehen, wie wir zukünftige Anfragen mit Lastenausgleich platzieren können.”

Das End-to-End-System ermöglichte den Benutzern auch eine beispiellose Möglichkeit, von der Einrichtung mit Lastenausgleich zu profitieren, ohne den Quellcode zu ändern. In derzeitigen traditionellen Supercomputersystemen ist dies ein kostspieliges Verfahren, da die Grundlage des Anwendungscodes geändert werden muss

„Es war mir eine Ehre, mit diesem Team einen Beitrag zum Thema Supercomputing leisten zu dürfen“, sagt Sarah Neuwirth, Postdoktorandin am Institut für Technische Informatik der Universität Heidelberg. „Damit sich Supercomputing weiterentwickeln und den Herausforderungen einer Gesellschaft des 21. Jahrhunderts begegnen kann, müssen wir internationale Bemühungen wie diese leiten. Meine eigene Arbeit mit häufig verwendeten Supercomputing-Systemen hat von diesem Projekt sehr profitiert.“

Die End-to-End-Steuerungsebene bestand aus Speicherservern, die ihre Nutzungsinformationen an den Metadatenserver senden. Ein autoregressives integriertes Zeitreihenmodell mit gleitendem Durchschnitt wurde verwendet, um zukünftige Anfragen mit einer Genauigkeit von ungefähr 99 Prozent vorherzusagen und an den Metadatenserver zu senden, um sie mit einem minimalen Kosten-Maximum-Flow-Graphalgorithmus auf Speicherservern abzubilden.


Leave a Comment