Die ThinkParQ GmbH entwickelt BeeGFS wird seit mehreren Jahren für den Einsatz in Performance-kritischen Umgebungen. Nach Aussage der Entwickler ist BeeGFS einfach zu installieren, sehr flexibel und eignet sich unter anderem für Storagesysteme, die von rechenintensiven Anwendungen adressiert werden.

ExaNeSt

Angekündigt hatte das ITWM die jetzt erfolgte Freigabe des Quellcodes von BeeGFS bereits auf der International Supercomputing Conference 2013, seinerzeit im Rahmen des Europäischen Exascale-Projekts DEEP-ER. Dieses widmet sich der Entwicklung und Umsetzung neuer Ansätze für extreme I/O-Anforderungen.
So beteiligt sich das BeeGFS-Team auch an ExaNeSt, einem europäischen Exascale-Projekt, das zum Ziel hat, das ARM-Ökosystem für performanzkritische Auslastungen nutzbar zu machen.

Laut Aussage von Bernd Lietzow, BeeGFS-Leiter für ExaNeSt lässt sich BeeGFS zwar bereits heute auf ARM-Systemen einsetzen, das ExaNeSt-Projekt ermögliche es dem BeeGFS-Team aber sicherzustellen, auch auf dieser Architektur die bestmöglichen Ergebnisse zu erzielen.

Extreme I/O-Anforderungen

BeeGFS besteht aus Metadaten und Objektdaten. Während Objektdaten die eigentlichen Daten der Nutzer repräsentieren, speichern Metadaten Zugriffsberechtigungen, Dateigrößen und die jeweiligen Server, auf denen die Teile einer Datei lagern. Dabei sind die Anzahl der ObjectStorageServer UND die der MetaDataServer skalierbar.

Zusätzlich gibt es einen Management-Server, der dafür sorgt, dass sämtliche an BeeGFS beteiligten Prozesse untereinander kommunizieren können. BeeGFS-Clients schließlich kommunizieren via TCP/IP oder Infiniband mit dem Speichersystem.

BeeGFS funktioniert mit den gängigen POSIX-kompatiblen Dateisystemen (ext4 oder Xfs etc.), läuft unter Red Hat Enterprise Linux, SuSE Linux Enterprise Server oder gängigen Debian-Abkömmlingen und ist mit 25.000 Codezeilen für den Metadaten-Service sowie 15.000 Zeilen für den Storage-Service sehr kompakt.

BeeGFS-Quellcode

Der Quellcode ist ab sofort auf der Projektseite von BeeGFS verfügbar, derzeit noch unter der BeeGFS-EULA lizenziert.

Sven Breuner, Geschäftsführer von ThinkParQ begründet die jetzt erfolgte Freigabe des Quellcodes damit, dass viele Nutzer zwar zufrieden seien, dass BeeGFS einfach zu installieren sei und nicht viel Aufmerksamkeit benötige, Andere aber verstehen wollten, was unter der Haube passiere, etwa um die Laufzeit ihrer Anwendungen weiter optimieren, das Monitoring verbessern oder BeeGFS auf andere Plattformen wie BSD portieren zu können. Zudem wartete, so Breuner, die Gemeinschaft darauf, dass es möglich werde, BeeGFS für Non-X86-Architekturen wie ARM oder Power zu bauen.