Ci siamo scontrati recentemente con delle problematiche di installazione/configurazione di virtualizzazione in ambienti HW innovativi per la realizzazione di un mini datacenter virtuale.

L’attività è stata svolta in collaborazione con il Consorzio Clara, con cui abbiamo svolto a quattro braccia le attività di progettazione ed implementazione del rack / datacenter virtuale. Gli apparati erano degli UCS C200M1 con schede CNA dual port QLogic QLE8152 (FCoE 10GE), un apparato Cisco Nexus 5010 FCoE + modulo FC ed uno storage IBM entrylevel in FC

L’uso della configurazione non doveva avere valore di un sistema in produzione, pertanto non è stato pensato per applicazioni business critical (niente HA). Vogliamo pubblicare questo caso, per esporre le metodologie risolutive da intraprendere nel caso le problematiche dovute all’hardware innovativo ed ai driver fin troppo recenti, bloccassero altri professionisti. Abbiamo coinvolto forum tecnici specializzati e personale tecnico specializzato da varie parti del mondo. Ci siamo subito orientati verso una virtualizzazione selezionando uno tra i due hypervisor attualmente d’eccellenza nel panorama mondiale (ESXi4.0 e XenServer 5.6), piuttosto che una soluzione di cloud privata, perchè avrebbe richiesto il sacrificio di uno dei server gemelli come management. La soluzione mediante ESXi4.0 hypervisor free della Vmware, avrebbe richiesto l’uso del Vmware vSphere client, ma senza un vCenter avrebbe richiesto diversi accessi per ogni server da gestire, mentre l’uso dello XenServer 5.6 hypervisor free della Citrix, consente di poter amministrare tutte le macchine mediante un unico client di management free Citrix XenCenter. Le problematiche sono sorte, per entrambi gli hypervisor, a causa delle schede CNA (Converged Network Adapter), in quanto l’FCoE è una tecnologia che sta affermandosi da poco tempo, ed inoltre i server Cisco UCS, sono anche loro troppo recenti nel campo hardware. Nel caso ESXi4.0 è stato necessario installare tre driver per far funzionare il tutto a dovere, nel caso XenServer5.6 i driver per le CNA sono usciti nel mentre si stavano testando le installazioni/configurazioni e tramite un canale aperto dai feedback ai nuovissimi driver il fantastico supporto dei tecnici Citrix ci ha fornito indicazioni per attivare e configurare correttamente tutte le potenzialità e funzionalità dell’hardware.

Installazione con ESXi 4.0 :

come si può vedere dalla seguente discussione aperta sul forum vmware , occorre installare:

  1. QLogic Fibre Channel and Converged Network Adapter CIM Provider – from Qlogic site
  2. vmware-esx-drivers-net-qlge_400.1.0.0.39-1.0.4.00000.261179 – from vmware (ethernet driver components for ESXi 4.0)
  3. vmware-esx-drivers-scsi-qla2xxx_400.831.k1.25vmw-1.0.4.00000.242037 – from vmware (scsi fibre channel driver component for ESX 4.0)

#Adapter CIM Provider
esxupdate –bundle offline-bundle.zip –nodeps –nosigcheck –maintenancemode update
#driver FCoE FC-SCSI
esxupdate –bundle=qlg.831.k1.25vmw-offline_bundle-242037.zip update
#driver FCoE ETH
esxupdate –bundle=qlgc-qlge-100.21-offline_bundle-261179.zip update

 

 

Abbiamo successivamente provato con la nuova release ESXi 4.1, ottenendo risultati solo per la porzione FC della CNA, mentre per questa versione di hypervisor, non ci sono attualmente bullettin per installare i driver capaci di sbloccare la porzione ethernet (10GE) delle schede CNA.

Installazione con XenServer 5.6 :

per questa intallazione abbiamo seguito le istruzioni dei driver usciti in primissima il 6 luglio 2010, poi successivamente aggiornati il 6 agosto 2010, forse proprio a causa delle nostre segnalazioni. La Citrix ha poi integrato gli stessi con un nuovo articolo dove porta anche un aggiornamento firmware delle schede CNA.

Esistono anche in questo caso procedure differenti a seconda che i driver vengono installati dopo XenServer o contemporaneamente. nel nostro caso partivano da una installazione preesistente da noi fatta prima dell’uscita dei driver, cosicchè abbiamo dovuto installarli su uno XenServer running

mkdir -p /mnt/tmp
mount /dev/<path to cd-rom> /mnt/tmp
cd /mnt/tmp/
cd qlogic#qla2xxx
./install.sh
cd ../qlogic#qlge/
./install.sh
cd /
umount /mnt/tmp

# Manual PIF creation to picked up by xen API the “new” network interfaces – for every Eth port

xe pif-introduce mac=<phisical-address> device=eth2 host-uuid=<UUID of the host>

A questo punto, il lavoro di configurazione precedentemente svolto sullo storage IBM e sull’ innovativo dispositivo di network Nexus, dedicato alla tecnologia FCoE, ci ha consentito di completare brillantemente il lavoro.

Per la configurazione del Nexus ci siamo fatti dare una mano dall’ ottimo video di Jason Nash Varrow, che è relativo alla configurazione di un Nexus 5020 in ambiente ESX.

I passi eseguiti per la configurazione del Nexus sono stati:

  1. Attivazione delle Features e licenze necessarie
  2. Attivazione dell modulo FC
  3. Creazione di una VLAN e una VSAN e associazione fra le due
  4. Creazione delle Virtual FCInterfaces (VFC)  con assegnazione (Bind) alle rispettive interfacce fisiche Ethernet 10G
  5. Associazione delle VFC e delle FC fisiche alla VSAN creata
  6. Impostazione della modalità Trunk sulle rispettive interfacce Ethernet 10G
  7. Accensione di tutte le interfacce in questione
  8. Creazione degli alias per i WWN degli host da collegare (le CNA) e associazione degli alias alla VSAN creata
  9. Assegnazione degli alias ad una zona
  10. Assegnazione della zona creata ad una Zoneset
  11. Attivazione della Zoneset

Tutte le attività sono state svolte in un ottimo ambiente di collaborazione a più mani tra noi e l’ottimo e preparatissimo personale del Consorzio Clara, cosi da riuscire a velocizzare enormemente il completamento dei lavori.