Acropolis File Services (AFS) Deep Dive

File Services, kaum ein Unternehmen kommt ohne den Datenzugriff über Netzlaufwerke aus. Die wohl gängigsten Use Cases sind unstrukturierte Daten in Form von Benutzerprofilen oder einfache Abteilungsordner.

Ein genereller Trend ist, weg von dedizierten NAS Systemen hin zu virtualisierten File Servern z.B. auf Basis von Windows, da man damit deutlich flexibler und nicht an die Hardware gebunden ist. Jedoch ist man aus Sicht der IT dann mit der Installation und dem Betrieb konfrontiert, welchen man dabei selbst übernehmen muss. Und genau hier möchte Nutanix der IT eine Möglichkeit bieten, File Services möglichst einfach zur Verfügung zu stellen und dabei die Aufwände für den Betrieb auf ein Minimum zu reduzieren.

Acropolis File Services (AFS) sind ein Weg, besagte File Services direkt über Nutanix zu provisionieren und zu verwalten. Der gesamte Prozess dauert dabei nur wenige Minuten und wird im Folgenden im Detail erklärt.

Wie werden File Services provisioniert?

Login in Prism >> Menü – File Server >> + File Server

AFS NewFS 00AFS NewFS 0

Die gesamte Verwaltung läuft über Prism und im ersten Schritt wird ein virtueller Fileserver erstellt. Dabei darf es durchaus mehrere File Server pro Nutanix Cluster geben, hier gibt es kein Limit. Derzeit werden VMware vSphere und Nutanix AHV als Hypervisor unterstützt.

Bevor das Deployment beginnt, müssen ein paar Dinge gegeben sein und dafür sorgt der Pre-Check, welcher den Benutzer dabei unterstützt die Anforderungen für das Deployment zu erfüllen.

AFS Pre-Check vSphere

AFS NewFS 1

Im ersten Schritt werden Name, Anzahl der File Server VMs (FSVMs) und die Größe des File Servers angegeben.

Die minimale Konfiguration besteht aus drei FSVMs à 4 vCPUs und 12GB RAM, bei einer Größe von 1TB (1024GB). Je nach Performance Anforderungen kann die virtuelle Hardware auch deutlich nach oben geschraubt werden, auf bis zu 12 vCPUs und 96GB RAM.

Alle FSVMs eines File Servers bilden zusammen einen Cluster, der entsprechend für die Performance und Verfügbarkeit der File Services zuständig ist.

fs_2b1Wichtig, der Name wird später entsprechend als oberster Zugriffspunkt für die Clients dienen und darunter die Shares eingehängt. Diese können aktuell von den Clients via SMB 2.0 und 2.1 zugegriffen werden. Der Name sollte maximal 15 Zeichen lang sein. Unterstützt werden derzeit primär Windows Umgebungen, als mit AOS 5.1 auch MAC Betriebssysteme.  Beispiel: \Fileserver1\Share1

Es wird empfohlen zwei getrennte Netzwerke zu verwenden, um Frontend Traffic zwischen Clients sowie Fileserver und Fileserver und Nutanix CVM zu trennen. Für kleinere Umgebungen wird jedoch auch ein einzelnes Netzwerk unterstützt.

Die Frontend IPs der FSVMs müssen entsprechend mit der Domäne bzw. DNS Server kommunizieren können.

Neben der manuellen Angabe von Gateway und Subnet, erfolgt die Zuweisung der eigentlichen FSVM IP Adressen per integriertem IP Address Management (IPAM), sprich es muss nur die IP-Range angegeben werden. Sind im Falle von AHV in Prism bereits Netzwerke mit entsprechender IPAM Konfiguration vorhanden, werden diese übernommen und es muss nichts weiter angegeben werden. Für vSphere müssen die IP-Ranges und die gewünschten Port Gruppen angegeben werden. Grundsätzlich wird für das Frontend n IPs, wobei n die Anzahl der File Server ist, benötigt und für das Backend n+1. Die Zusätzliche IP dient als Cluster Adresse des File Servers, über die das Cluster von den CVMs angesprochen wird.

Und zuletzt noch DNS und NTP Server.AFS NewFS 2 - neu

Das Storage Netzwerk dient der Kommunikation zwischen FSVMs und CVM, über diesen Weg wird der Storage für den Fileserver via iSCSI (Acropolis Block Services ABS) zur Verfügung gestellt. Daher empfiehlt es sich, die IPs aus dem gleiche Subnet als das der CVMs zu wählen.

AFS NewFS 3 - neu

Der Deployment Prozess übernimmt entsprechend auch die gesamte Active Directory (AD) Integration, indem alle nötigen Objekte im AD bzw. im DNS angelegt werden.

Der Benutzer muss entsprechend über Berechtigungen verfügen, diese Objekte anzulegen.

AFS NewFS 4

Mit AOS 5.1 gibt es auch die Möglichkeit den Domain Join zu überspringen, die Objekte manuell anzulegen und später mit einem Konto welches nur über reduzierte Berechtigungen verfügt der Domäne beizutreten. Dies ist vor allem da wichtig, wo der Zugriff auf das AD eingeschränkt ist.

Zum Abschluss des Deployments, wird auch eine Protection Domain (PD) mit allen Objekten die den Fileserver ausmachen erstellt. Diese PD kann später dann für lokale Snapshots oder eine asynchrone Replikation verwendet werden.

AFS NewFS 5

Am Ende hat das gesamte Deployment nur 10 Minuten gedauert.

AFS NewFS Task

Tipp: AFS wird bereits von der Nutanix App Mobility Fabric (AMF) unterstützt. Das heißt, es ist möglich einen Fileserver Hypervisor übergreifend (z.B. von ESXi auf AHV) zu replizieren und im Desaster Fall direkt dort zu starten.

Dazu ein kleines Video eines Kollegen. Danke Dwayne

vSphere DRS & AHV ADS Integration

Damit sichergestellt ist, dass die FSVMS nicht auf dem gleichen Host laufen, werden automatisch entsprechende DRS bzw. ADS Anti-Affinity Regeln angelegt, um die FSVMs voneinander zu trennen.

AFS AHV ADSAFS vSphere DRS

Damit ist der Deployment Prozess abgeschlossen und es kann damit begonnen werden, die eigentlichen Shares zu erstellen.

Shares

Grundsätzlich gibt es zwei Arten von Shares, einen so genannten „Home Share“ und unbegrenzt viele „General Purpose Shares“. Doch worin besteht der Unterschied?

Nach dem Deployment des File Servers, wird automatisch ein so genannter Home Share angelegt. Dieser ist ausgelegt auf viele tausende gleichzeitige Zugriffe der Benutzer.

AFS NewFS Share

So ist dieser Share über alle FSVMs verteilt, während die „General Purpose Shares“ jeweils von einer FSVMs gehostet werden. Das wichtige dabei ist, dass der Zugriff auf alle Shares für die Clients völlig transparent ist, dass heißt, hier muss man sich keine Gedanken über den korrekten Zugriff über die richtige FSVM machen. Im Falle des „General Purpose Shares“ ist dies relativ einfach, aber wie funktioniert das bei den verteilten „Home Shares“?

In diesem Fall greift AFS auf ein Microsoft Distributed File System (DFS) Feature zurück, DFS Referrals. Das bedeutet, dass die erste Ordner Ebene innerhalb des Home Shares (Top Level Directories) auf alle beteiligten FSVMs aufgeteilt wird. Das folgende Bild verdeutlich dies ganz gut, dabei ist jede FSVMs für einen Teil der Ordner zuständig. Greift ein Client auf einen Ordner über eine FSVMs zu, welche nicht für diesen verantwortlich ist, so wird der Client einfach an die korrekte FSVM weitergeleitet. Wie gesagt, für den Client ist dies völlig transparent. Somit kann jedoch die Last vieler tausender gleichzeitiger Zugriffe über mehrere FSVMs und damit mehrere physische Nodes verteilt werden.

AFS DFS HomeShares

Auf Ebene der Shares können verschiedene Einstellungen getroffen werden, dazu zählen ABE & WPV sowie Quota Policies. Unterstützt werden auch versteckte/hidden Shares, die mit einem $ enden.

AFS New Share

Access Based Enumeration (ABE):

  • Zeigt dem Benutzer nur Objekte auf die er auch tatsächlich Berechtigungen hat.

Windows Previous Version (WPV):

  • Snapshots (in Guest der FSVMs) – Bei WPV handelt es sich um eine wichtige Funktion, vor allem um Anfragen an die IT zu reduzieren, damit Benutzer selbständig Dateien wiederherstellen können. Das heißt eine Integration in die „Windows Vorgängerversionen“ auf Dateiebene ist essentiell und wird entsprechend auch von AFS unterstützt. Hier wurde mit AOS 5.1 in Prism die Möglichkeit ergänzt, die Häufigkeit bzw. Retention Policies der entsprechenden Snapshots nach eigenen Anforderungen zu definieren.

AFS WPV Schedule

Das Ergebnis sieht dann wie folgt aus.

AFS WPV

Nach Erstellung des Shares, kann optional noch ein oder mehrere Quotas eingerichtet werden, inkl. E-Mail Alarme bei entsprechender Verletzung.

AFS Quotas

Harte Limits können nicht überschritten werden und es wird verhindert, dass neue Daten geschrieben werden können. Während im Gegensatz dazu Soft Limits überschritten werden können und nur die eingetragenen E-Mail Empfänger alarmiert werden. Pro Share können auch mehrere Quota Policies für verschiedene Benutzer und Gruppen erstellt werden.

Hinweis: Wenn eine AD-Gruppe angegeben wird, so erhält JEDER Benutzer innerhalb der Gruppe diese Quota. Also z.B. 10 Benutzer und 100GB Quota entspricht 10 x 100GB = 1TB. Ist ein Benutzer Mitglied mehrerer, angegebener Gruppen, so erhält er die Quota mit der größten Kapazität.

AFS Quotas2

Es empfiehlt sich nach Erstellung eines Shares die Berechtigungen entsprechend auf die gewünschten Abteilungen (AD Gruppen) anzupassen, bevor diese mit Inhalt gefüllt werden. Die Default Berechtigungen sehen dabei wie folgt aus:

HOME SHARES

  • Domain Administrator: Full access
  • Domain User: Read only
  • Creator Owner: Full access – Subfolders and Files only

Wichtig: Aktuell sollten die Top Level Directories innerhalb des Home Shares nicht manuell angelegt werden, sondern z.B. über Active Directory, sodass die Ordner direkt mit dem richtigen Namen des Benutzers angelegt werden und nicht manuell umbenannt werden müssen.

AFS AD Userprofile3

GENERAL PURPOSE SHARES

  • Domain Administrator: Full access
  • Domain User: Full access
  • Creator Owner: Full access – Subfolders and Files only

Eine weitere Besonderheit wurde mit AOS 5.1 eingeführt. Der bisherige Prozess hätte Benutzerprofile wie folgt abgelegt: \fileserver1\homeshare\benutzername. Was aber, wenn in bestehenden Umgebungen die Client Konfiguration bereits überall auf \fileserver\benutzername zeigt? AFS lässt sich per Advanced (cli) Setting so anpassen, dass die Ordner der Benutzer als „Share“ präsentiert werden, sodass der Pfad am Ende so aussieht \fileserver\benutzername und keine Anpassungen der Clients notwendig ist.

Backend Storage

Wie bereits erwähnt, wird der Backend Storage durch Acropolis Block Services (ABS) via iSCSI zur Verfügung gestellt. Ohne zu sehr in die Details von ABS einzutauchen, denn dazu existiert bereits ein eigener Artikel, soll zumindest die Grundlage geschaffen werden um zu verstehen, wie die Hochverfügbarkeit & Skalierbarkeit des File Servers möglich gemacht wird.AFS ABS VGs

Alle FSVMs greifen auf so genannte Volume Groups (VGs) über ABS via iSCSI zu. Volume Groups organisieren die eigentlichen vDisks (Anzahl, Größe) und wer darauf zugreifen darf (IP, IQN). Während des Deployments eines AFS File Servers, werden automatisiert alle benötigen VGs erstellt und die iSCSI Sessions zwischen FSVMs und CVM entsprechend hergestellt. Jede CVM kann auf jede VG zugreifen, so kann im Fall eines Ausfalls einer FSVM, eine andere FSVM die dann „ausgefallenen“ VGs und die dazugehörigen Shares übernehmen und die Daten weiter an die Clients präsentieren. Genauso einfach können die Disks unter den FSVMs neu verteilt werden, um einen Lastenausgleich zu erreichen, aber dazu gleich mehr.

Der „Home Share“ ist dabei über mehrere FSVMs und mehrere VGs verteilt, wohingegen „General Purpose Shares“ auf eine FSVM und eine VG „limitiert“ sind. Das derzeitige Limit eines solchen Shares liegt bei 40TB an Daten und bei „Home Shares“ bei 200TB.

Ist das darunter liegende Nutanix Container, in dem vDisks gespeichert sind, oder die File Server Kapazität zu 90% genutzt, erhält der Administrator entsprechende Alarme via Prism.

Durch die Verwendung der Distributed Storage Fabric (DSF), kann natürlich entsprechend auch die Capacity Optimization Engine (COE) verwendet werden, mit z.B. Deduplizierung, Komprimierung und Erasure Coding (ECX).

Skalierbarkeit

Eine weitere Besonderheit von AFS ist die integrierte & automatisierte Skalierbarkeit. Es wird dauerhaft die Auslastung der einzelnen FSVMs überwacht und wenn entsprechende Schwellwerte überschritten sind, erhält der Adminitrator über Prism eine Möglichkeit die Performance zu optimieren. Die dazu nötigen Schritte sind komplett automatisiert, der Benutzer hat jedoch die Möglichkeit zu entscheiden, wie er optimieren möchte:

AFS Alert Perf. Opt.

Scale-Up: Hier werden den FSVMs mehr vCPUs und RAM hinzugefügt, ab AOS 5.1 erfolgt dies vollständig online ohne Service Unterbrechung, indem die Ressourcen im Hot-Add Verfahren hinzugefügt werden.

Rebalance: In diesem Fall werden die Backend Disks, auf denen die eigentlichen Files abgelegt sind, neu zwischen den einzelnen FSVMs verteilt, um z.B. Hotspots durch zu viele Zugriffe auf einer einzelnen FSVMs zu eliminieren.

Scale-Out: Diese Option rollt zusätzliche FSVMs aus, über welche dann die Gesamtlast verteilt werden kann.

In allen drei Szenarien entstehen keine zusätzlichen administrativen Aufgaben, denn der gesamte Prozess ist vollständig automatisiert.

Fehlerszenarien

Ein AFS Cluster ist natürlich so designed, das alle möglichen Fehler der einzelnen Komponenten abgefangen werden können.

FSVM Ausfall

  • Eine andere FSVM übernimmt die Ownership der VGs, importiert das Filesystem (via Metadaten) und Clients können dann direkt wieder auf die Daten zugreifen.

CVM Ausfall

  • Im Prinzip ein ABS Thema, die VGs werden von einer anderen CVM übernommen und die FSVM muss lediglich neue iSCSI Sessions zu den benötigten VGs (vDisks) über die neue CVM herstellen.

Host

  • In diesem Fall treten ja beiden oben genannten Fehler ein, sodass quasi beides parallel abläuft.

Software (File Server) Upgrades

Als Teil der Nutanix 1-Click Philosophie, kann der File Server auch unabhängig von AOS via Prism aktualisiert werden. Sofern das Cluster mit dem Nutanix Support Portal kommunizieren kann, ist es möglich von dort die neuste Software direkt herunterzuladen. Diese kann dann über ein automatisiertes, rollierendes Upgrade auf allen FSVMs ausgerollt werden. Diese sind derzeit jedoch nicht Non-Disruptive, da als Teil des Upgrades natürlich die FSVMs neu starten und so die bestehenden Client Connections auf andere FSVMs übertragen werden müssen.

AFS Upgrade Software

Acropolis Block Services (ABS)

In diesem Artikel geht es um Acropolis Block Services (ABS) und wie damit der Storage der Nutanix Plattform an externe Verbraucher via iSCSI präsentiert werden kann.

Use Cases gibt es dabei einige, denkt man zum Beispiel daran, dass es noch immer Workloads gibt vor deren Virtualisierung man z.B. auf Grund von Herausforderungen bei der Lizensierung zurückschreckt. Also was tun, wenn man zwar den Großteil seiner Workloads virtualisiert und auf eine neue Hyper-Converged Plattform migriert, jedoch besagte Workloads noch mit einem performanten, hochverfügbaren Storage versorgen muss?

Genau hierfür wurde ABS entwickelt und ist dabei denkbar einfach zu verwenden. Für die Verwendung von ABS muss als erstes die so genannte External Data Services IP (DSIP) für das Nutanix Cluster konfiguriert sein.

ABS DSIP

 

Die DSIP dient den Clients als Zugriffspunkt und wird später im iSCSI Initiator des Clients entsprechend konfiguriert.

Im zweiten Schritt, muss eine Volume Group angelegt werden.

Eine Volume Group ist lediglich ein logisches Konstrukt, zur Verwaltung des Storage und der dazugehörigen Zugriffssteuerung. Eine VG vereint so die eigentlichen vDisks (Anzahl & Größe), die dem Client präsentiert werden, als auch die entsprechenden Sicherheitseinstellungen wie IP/IQN Whitelist und CHAP Authentifizierung.

ABS Add VG3

Jede vDisk, die innerhalb der Volume Group konfiguriert wird, taucht am Client später als unabhängig Disk auf. Sprich benötigt der Client z.B. 3 verschiedene Platten, für TempDB, Logs und Datenbank, so muss der VG entsprechend drei vDisks in der gewünschten Größe konfiguriert werden.

ABS Add VG3 Add Disk

ABS Add VG3 Add Disk2

Anschließend noch den Haken für „External Access“ setzen und die entsprechenden Initiatoren via „Add New Client“ der Whitelist hinzufügen. Optional kann hier die Client CHAP Authentifizierung aktiviert werden. So ließe sich letzten Endes Client als auch Server via Mutual CHAP authentifizieren.

ABS Add VG3 Add iSCSI Client

Den Punkt „Attach to a VM“ überspringen wir, da dieser im Falle des AHV Hypervisors dazu dient, eine vDisk direkt an VMs zu mappen und nicht via iSCSI zu präsentieren.

Zuletzt ließe sich optional noch der Flash Mode aktivieren, dieser verhindert, dass Daten einer vDisk in einem hybriden System auf HDD ausgelagert werden, pinnt also die vDisks in den schnellen Flash Tier.

Damit ist die Konfiguration seitens Nutanix bereits abgeschlossen und der ist Storage bereit entsprechend konsumiert zu werden.

Die erste Besonderheit an ABS ist, dass auf Seiten des Clients nur die DSIP angegeben werden muss und keine MPIO Software installiert werden und keine Pfadoptimierung bzw. Konfiguration erfolgen muss. Der iSCSI Initiator frägt über die DSIP die Ressourcen an und wird dann via iSCSI Re-Direction an die eigentlichen CVMs, welche die vDisks hosten, weitergeleitet. Die DSIP ist entsprechend hochverfügbar und kann im Fehlerfall von jeder FSVMs übernommen werden.

ABS iSCSI Init 1

ABS iSCSI Init 2

ABS iSCSI Init 3

ABS DiskMgr

Das führt direkt zur nächsten Besonderheit, den Scale-Out Fähigkeiten. Der Client kann eine dedizierte iSCSI Session zu jeder einzelnen vDisk innerhalb einer Volume Group aufbauen, die potentiell alle auf verschiedenen CVMs gehostet sein können. So kann im Falle eines 10 Node Nutanix Clusters, eine VG mit 10 vDisk, die entstehende Last über 10 physischen Nodes und deren Ressourcen verteilt werden.

Sofern ABS unter Nutanix AHV als Hypervisor eingesetzt werden, so greift auch hier das Acropolis Dynamic Scheduler (ADS) Feature und hilft dabei Hot Spots zu vermeiden. Das beutetet, die Plattform erkennt überlastete CVMs und kann als Gegenmaßnahme die durch ABS präsentierten vDisks zwischen den CVMs neu verteilen, um den Hotspot zu eliminieren.

ABS Überblick

Im Fehlerfall eines Hosts oder einer CVM, werden die dort gehosteten vDisks von einer anderen CVM übernommen und der Client versucht sich erneut über die DSIP einzuloggen und wird dann einfach über die iSCSI Re-Rirection Funktionalität an die neue(n) CVM(s) weitergeleitet.

ABS Failover

Hier ein Beispiel Video des Kollegen Albert Chen

Nutanix Shadow Clones

Shadow Clones kommen vor allem in VDI-Umgebungen mit Linked Clones zum Einsatz. Sowohl Citrix XenDesktop mit MCS als auch VMware Horizon View arbeiten hier mit einem Master-Image, auf welchem alle Linked Clones basieren bzw. darauf verweisen. Das spart enorm viel Speicherplatz, da das Golden Image nur einmal gespeichert werden muss und alle damit verknüpften VMs lesend auf dieses Image zugreifen. Die vermeintlichen Nachteile von Linked Clones sind, der erhöhte I/O-Bedarf auf dem Storage und ein erhöhter Netzwerkverkehr. Das können in einer 3-Tier Umgebung eine LUN und ein FibreChannel Netzwerk sein, oder Falle von HCI Umgebungen, ein einzelner Host mit seinen lokalen Festplatten und dem 10G Ethernet. Ohne Shadow Clones würden also alle Linked Clones über das Netzwerk auf die „vDisk“ des Golden Images zugreifen.

shadowclones2Um den daraus resultierenden Hotspot auf den physischen Festplatten zu vermeiden und Netzwerkverkehr zu reduzieren, überwacht die Distributed Storage Fabric (DSF) den Zugriff auf alle vDisks. Entdeckt sie dabei eine vDisk, welche zum einen Zugriffe von mindestens zwei remote CVMs und der lokalen CVM aufweist und zum anderen ausschließlich Read Requests bedient, so wird diese als immutable (read-only – unveränderbar) markiert. Von nun an wird diese vDisk auf den allen Hosts zwischengespeichert, welche Daten von dieser vDisk anfragen. Damit können die CVMs im Cluster nun Leseanfragen von Linked Clones sofort lokal bedienen. Somit wird quasi die Data Locality automatisch sichergestellt und die VMs profitieren so von einer extrem niedrigen I/O-Latenz.

shadowclones1-page-1Ein manuelles Kopieren des Golden Images auf alle Hosts im Cluster entfällt dadurch. Um das Netzwerk zu schonen, passiert dies auch nicht pro-aktiv, sondern erst wenn ein Block erstmalig angefragt wird. Nimmt man Änderungen am Golden Image vor, z.B durch das Einspielen von Windows Updates, werden die Shadow Clones verworfen und der Prozeß neu gestartet.

Wie konfiguriert man Shadow Clones? Gar nicht! Shadow Clones sind automatisch aktiv. Das Ein- und Ausschalten erfolgt über die nCLI:
ncli cluster edit-params enable-shadow-clones=<true/false>

Zu Shadow Clones gibt es auch ein Video im nu.school-Kanal von Nutanix auf YouTube:

Nutanix Cluster Erweiterung (Scale-Out)

In diesem Artikel möchte ich etwas näher auf die Erweiterungsmöglichkeiten (Scale-Out) der Nutanix Plattform eingehen. Doch zu Beginn die Frage, warum denn ein unkompliziertes und schnelles Scale-Out ein essentielles Feature der Plattform ist?

Nutanix verfolgt die Philosophie, dass das bisherige Vorgehen, Storage und Compute auf 3, 5 oder gar mehr Jahre „vorausschauend“ zu beschaffen, nicht mehr zeitgemäß ist. Zum einen ist es extrem schwer den genauen Bedarf an Ressourcen über einen längeren Zeitraum wirklich präzise vorauszusagen und so läuft man Gefahr, wohlmöglich zu schnell Anforderungen nach neuen Ressourcen nicht nachkommen zu können, oder schlicht, zu groß zu planen und man so ungenutzte Ressourcen vorhält. Selbst wenn die Einschätzung halbwegs passen sollte, werden die Ressourcen über einen längeren Zeitraum nicht genutzt und schaffen so erst über die Zeit einen reellen Wert für das Unternehmen, wenn diese tatsächlich über den Lebenszyklus hinweg auch tatsächlich genutzt werden.

Wie sieht hierzu jetzt die Antwort der Nutanix Plattform aus?

Nutanix empfiehlt tatsächlich nur die Ressourcen zu beschaffen, die stand heute nötig sind, um die bestehenden Workloads und wirklich kurzfristig anstehenden Projekte zu stemmen. Um dies zu ermöglichen, muss es technisch möglich sein, die Plattform möglichst schnell und unkompliziert zu skalieren.

 

Scale-Out

Möchte man ein bestehendes Nutanix Cluster erweitern, so ist der wohl härteste Job, der Einbau und die Verkabelung der Nodes im Rack. Der restliche Prozess kann dagegen bequem per Prism gesteuert werden. Alles das es dazu braucht, sind die folgende Informationen/Daten:

  • IP Adressen für die neuen Nodes (je 3 Adresse pro Node – Hypervisor, CVM, IPMI)
  • Angabe des gewünschten Hypervisors (Upload der entsprechenden .iso Datei)

Die Nodes werden über ein IPv6 Discovery automatisch erkannt und der Installationsprozess, welcher die neuen Nodes mit allen benötigten Komponenten im Hintergrund betankt, erfolgt über die so genannte Nutanix „Foundation“ Komponente. Hierzu folgt in Kürze ein dedizierter Beitrag, der erklärt was die Foundation genau macht. Die folgenden beiden Screenshots zeigen, wie einfach ein Nutanix Cluster zu erweitern geht:

 

Node Rebalancing

Da neue Nodes neben CPU und RAM auch zusätzliche Storage Ressourcen mitbringen, müssen diese in die vorhandene Distributed Storage Fabric (DSF) integriert werden. Nach der Integration des neuen Nodes werden die Daten im Cluster neu verteilt, sodass das  Cluster gleichmäßig ausgelastet ist. Dabei bleibt die Data Locality der bereits laufenden virtuellen Maschinen natürlich erhalten. Dieser Prozess ist völlig transparent und wird automatisch als Teil der Clustererweiterung angestoßen. Da durch diesen Prozess auch wieder Freiräume auf den bestehenden Nodes entstehen, kann so auch die Performance verbessert werden. Auch partizipieren die neuen Nodes direkt, indem sie den Replication Traffic anderer Nodes entgegennehmen.

ntnx_storagepool_1

ntnx_storagepool_2

 

 

 

 

 

ntnx_storagepool_3

Hypervisor

Im Falle von ESXi und Hyper-V, muss der Host noch in den vorhandene Cluster aufgenommen werden. Im Gegensatz dazu, ist dieser Prozess bei AHV komplett automatisiert und erfordert keine weiteren Schritte. In allen Fällen jedoch, ist es möglich, dass direkt nach der Erweiterung virtuelle Maschinen auf die neuen Nodes migriert werden können.

 

Gemischte Cluster

Ein wichtiger Punkt ist, dass ein Nutanix Cluster nicht homogen ausgestattet sein muss. Verschiedene Workloads haben entsprechend unterschiedliche Anforderungen, denen man mit unterschiedlicher Ausstattung entgegnen kann. So können verschiedene Node Typen in einem Cluster gemischt werden, z.B. NX-3060-G5 Nodes mit je 2 SSDs und 4 HDDs mit NX-8050-G5 Nodes, mit 4 SSD und 20 HDDs kombiniert werden. Über Hypervisor Technologien, wie Affinity-Rules, können die Workloads entsprechend den am besten geeigneten Nodes zugeordnet werden.

 

Storage Only Nodes

Jetzt kann es jedoch auch vorkommen, dass die Anforderungen nach Ressourcen ungleich entwickeln, sprich Storage Anforderungen schneller steigen, als die nach CPU und RAM. Auch hier bietet die Plattform eine einfache Lösung, so genannte Storage Only Nodes. Diese Nodes können dem Cluster hinzugefügt werden, haben jedoch die Besonderheit, dass diese:

  1. Mit reduzierten RAM und CPU Kapazitäten ausgestattet sind.
  2. Keine virtuellen Maschinen hosten und auch nicht Teil des Hypervisor Clusters sind.
  3. Immer mit dem AHV Hypervisor betrieben werden, damit hier keine zusätzlichen Kosten für den Hypervisor anfallen.

Somit kann die DSF des Clusters ohne Probleme um mehrere TB Storage Kapazität erweitert werden. Diese sollten immer im Paar hinzugefügt werden, sofern deren Kapazität die der vorhandenen Nodes deutlich übersteigt, sodass wenn ein Storage Only Node ausfällt, genügend freie Kapazitäten im Cluster vorhanden sind, damit der Rebuild in Gänze abgeschlossen werden kann.

ntnx_storagepool_4