PERFACCT

Energy Efficient GPU-Computing

Weiterentwicklung des Open-Source-Frameworks EMA zur Energiemessung auf HPC-Systemen – inklusive Plugin-Architektur, CLI-Utilities und Docker-basierter Entwicklungsinfrastruktur.

Auftraggeber

PERFACCT GmbH

Dauer

laufend

Produkt

Open-Source Software

Expertise

Softwareentwicklung

Ziel

EMA ist ein Open-Source-Framework zur Messung und Überwachung des Energieverbrauchs auf HPC-Systemen. Ziel des Projektes war die Erweiterung und Stabilisierung des Frameworks: neue Core-APIs, ein dynamischer Plugin-Lademechanismus sowie unterstützende Werkzeuge sollten EMA robuster und für einen breiteren Einsatz auf realen Clustersystemen bereit machen.

Aufgaben

Erweiterung und Verbesserung der Core-APIs des Frameworks
Implementierung eines dynamischen Lademechanismus für Framework-Plugins
Konzeption und Entwicklung von CLI-Utilities und unterstützenden Tools
Entwicklung von Core-Plugins unter Verwendung von NVML, MQTT und RAPL (Linux powercap)
Erweiterung und Pflege des Build-Systems mit CMake
Implementierung und Erweiterung von Unit-Tests für Core-Plugins
Entwicklung eines Docker-Image-Sets für das Core-Framework und zugehörige Tools

Herausforderungen

Die Entwicklung eines dynamischen Plugin-Lademechanismus erforderte ein tiefes Verständnis der C-Laufzeitumgebung und sorgfältige Schnittstellengestaltung, damit Plugins stabil geladen und entladen werden können, ohne das Core-Framework zu destabilisieren.

Die Integration heterogener Energiequellen - GPU-Verbrauch via NVML, CPU-Pakete via RAPL und Netzwerkkommunikation via MQTT - in eine einheitliche Plugin-Architektur stellte hohe Anforderungen an Abstraktion und Konsistenz der API-Schicht.

Programmiersprachen

C, Shell

Technologien

NVML, MQTT, Docker, CMake, Linux powercap

Architekturübersicht des EMA-Frameworks mit Plugin-System und Energiemessquellen.

Ähnliches Problem?

Zum Kontaktformular

Fazit

EMA wurde zu einem erweiterbaren, plugin-basierten Framework ausgebaut, das Energiemessungen auf modernen HPC-Systemen standardisiert erfasst und bereitstellt. Die containerisierte Entwicklungsinfrastruktur und das ausgebaute Test-Setup legen eine solide Grundlage für die weitere Open-Source-Entwicklung.

RIM2D - Hocheffiziente 2D hydraulische Simulation von fluvialen, pluvialen und urbanen Hochwassern

Hydrodynamische Simulation Webanwendung Geodaten GPU-Computing

RIM2D ist ein bestehendes, hocheffizientes 2D-hydraulisches Simulationsmodell für fluviale, pluviale und urbane Hochwasser. Wir unterstützten im Rahmen einer strategischen Partnerschaft dabei, den Forschungscode um eine Webanwendung und eine cloudbasierte GPU-Simulationsumgebung zu erweitern und so den Transfer in ein marktfähiges Produkt zu ermöglichen.

Projekt ansehen

Data Lake for Geoscience Research Data Management

Datalake Research Data Management Geodaten Cloud-Native Open-Source

Wir entwickelten eine S3-basierte Open-Source Datalake-Lösung zur zentralen Erfassung, Kategorisierung und Durchsuchbarkeit von Daten. Ziel war es, die manuelle Datenverwaltung durch eine integrierte Architektur mit Workflowsteuerung, Datenkatalog und Zugriffsschutz zu automatisieren und zu verbessern.