ADC

Optimisez les performances de NetScaler VPX sur VMware ESX, Linux KVM et Citrix Hypervisors

August 25, 2023

Contributeur:

Les performances de NetScaler VPX varient considérablement en fonction de l’hyperviseur, des ressources système allouées et des configurations de l’hôte. Pour atteindre les performances souhaitées, suivez d’abord les recommandations de la fiche technique VPX, puis optimisez-la davantage en utilisant les meilleures pratiques fournies dans ce document.

Instance NetScaler VPX sur des hyperviseurs VMware ESX

Cette section contient des détails sur les options et les paramètres configurables, ainsi que d’autres suggestions qui vous aideront à optimiser les performances de l’instance NetScaler VPX sur les hyperviseurs VMware ESX.

Configuration recommandée sur les hôtes ESX

Pour obtenir des performances élevées pour VPX avec les interfaces réseau E1000, VMXNET3, SR-IOV et PCI passthrough, suivez ces recommandations :

Le nombre total de processeurs virtuels (vCPU) provisionnés sur l’hôte ESX doit être inférieur ou égal au nombre total de processeurs physiques (PCPU) sur l’hôte ESX.
L’affinité NUMA (Non-Uniform Memory Access) et l’affinité CPU doivent être définies pour l’hôte ESX pour obtenir de bons résultats.

— Pour trouver l’affinité NUMA d’une Vmnic, connectez-vous à l’hôte localement ou à distance, et tapez :
```
 #vsish -e get /net/pNics/vmnic7/properties | grep NUMA
 Device NUMA Node: 0
 
```
- Pour définir l’affinité NUMA et vCPU pour une machine virtuelle, consultez la documentation VMware.

NetScaler VPX avec interfaces réseau E1000

Effectuez les paramètres suivants sur l’hôte VMware ESX :

Sur l’hôte VMware ESX, créez deux cartes réseau virtuelles à partir d’un commutateur pNIC. Plusieurs vNIC créent plusieurs threads Rx dans l’hôte ESX. Cela augmente le débit Rx de l’interface pNIC.
Activez les VLAN au niveau du groupe de ports vSwitch pour chaque carte réseau virtuelle que vous avez créée.
Pour augmenter le débit de transmission vNIC (Tx), utilisez un thread Tx distinct dans l’hôte ESX par vNIC. Utilisez la commande ESX suivante :
- Pour ESX version 5.5 :
```
 esxcli system settings advanced set –o /Net/NetTxWorldlet –i
 
```
- Pour ESX version 6.0 et ultérieure :
```
 esxcli system settings advanced set -o /Net/NetVMTxType –i 1
 
```
Pour augmenter encore le débit de la carte réseau vNIC Tx, utilisez un thread d’achèvement Tx et une file d’attente de threads Rx par périphérique (NIC) distincts. Utilisez la commande ESX suivante :
```
 esxcli system settings advanced set -o /Net/NetNetqRxQueueFeatPairEnable -i 0
 
```

Remarque :

Assurez-vous de redémarrer l’hôte VMware ESX pour appliquer les paramètres mis à jour.

Deux cartes réseau virtuelles par déploiement de PNIC

Voici un exemple de commande de topologie et de configuration pour le modèle de déploiement de deux cartes réseau virtuelles par pNIC qui offre de meilleures performances réseau.

Deux cartes réseau virtuelles par déploiement de PNIC

Exemple de configuration de NetScaler VPX :

Pour réaliser le déploiement illustré dans l’exemple de topologie précédent, effectuez la configuration suivante sur l’instance NetScaler VPX :

Côté client, liez le SNIP (1.1.1.2) à l’interface réseau 1/1 et activez le mode de balise VLAN.
```
 bind vlan 2 -ifnum 1/1 –tagged
 bind vlan 2 -IPAddress 1.1.1.2 255.255.255.0
 
```
Côté serveur, liez le SNIP (2.2.2.2) à l’interface réseau 1/1 et activez le mode de balise VLAN.
```
 bind vlan 3 -ifnum 1/2 –tagged
 bind vlan 3 -IPAddress 2.2.2.2 255.255.255.0
 
```

Ajoutez un serveur virtuel HTTP (1.1.1.100) et liez-le à un service (2.2.2.100).

 add lb vserver v1 HTTP 1.1.1.100 80 -persistenceType NONE -Listenpolicy None -cltTimeout 180
 add service s1 2.2.2.100 HTTP 80 -gslb NONE -maxClient 0 -maxReq 0 -cip DISABLED -usip NO -useproxyport YES -sp ON -cltTimeout 180 -svrTimeout 360 -CKA NO -TCPB NO -CMP NO
 bind lb vserver v1 s1
 <!--NeedCopy-->

Remarque :

Assurez-vous d’inclure les deux entrées suivantes dans la table de routage :

Sous-réseau 1.1.1.0/24 avec passerelle pointant vers SNIP 1.1.1.2

Sous-réseau 2.2.2.0/24 avec passerelle pointant vers SNIP 2.2.2.2

NetScaler VPX avec interfaces réseau VMXNET3

Pour obtenir des performances élevées pour VPX avec les interfaces réseau VMXNET3, effectuez les paramètres suivants sur l’hôte VMware ESX :

Créez deux vNIC à partir d’un commutateur virtuel PNIC. Plusieurs vNIC créent plusieurs threads Rx dans l’hôte ESX. Cela augmente le débit Rx de l’interface pNIC.
Activez les VLAN au niveau du groupe de ports vSwitch pour chaque carte réseau virtuelle que vous avez créée.
Pour augmenter le débit de transmission vNIC (Tx), utilisez un thread Tx distinct dans l’hôte ESX par vNIC. Utilisez les commandes ESX suivantes :
- Pour ESX version 5.5 :
```
 esxcli system settings advanced set –o /Net/NetTxWorldlet –i
 
```
- Pour ESX version 6.0 et ultérieure :
```
  esxcli system settings advanced set -o /Net/NetVMTxType –i 1
  
```

Sur l’hôte VMware ESX, effectuez la configuration suivante :

Sur l’hôte VMware ESX, créez deux cartes réseau virtuelles à partir d’un vSwitch PNIC. Plusieurs vNIC créent plusieurs threads Tx et Rx dans l’hôte ESX. Cela augmente le débit Tx et Rx de l’interface pNIC.
Activez les VLAN au niveau du groupe de ports vSwitch pour chaque carte réseau virtuelle que vous avez créée.
Pour augmenter le débit Tx d’une vNIC, utilisez un thread d’achèvement Tx et une file d’attente de threads Rx par périphérique (NIC) distincts. Utilisez la commande suivante :
```
 esxcli system settings advanced set -o /Net/NetNetqRxQueueFeatPairEnable -i 0
 
```
Configurez une machine virtuelle pour qu’elle utilise un thread de transmission par vNIC, en ajoutant le paramètre suivant à la configuration de la machine virtuelle :
```
 ethernetX.ctxPerDev = "1"
 
```
Configurez une machine virtuelle pour utiliser jusqu’à 8 threads de transmission par vNIC, en ajoutant le paramètre suivant à la configuration de la machine virtuelle :
```
 ethernetX.ctxPerDev = "3"
 
```
Remarque :

L’augmentation du nombre de threads de transmission par vNIC nécessite davantage de ressources CPU (jusqu’à 8) sur l’hôte ESX. Assurez-vous que des ressources CPU suffisantes sont disponibles avant de définir les paramètres précédents.

Pour plus d’informations, consultez la section Meilleures pratiques pour le réglage des performances des charges de travail Telco et NFV dans vSphere

Remarque :

Assurez-vous de redémarrer l’hôte VMware ESX pour appliquer les paramètres mis à jour.

Vous pouvez configurer VMXNET3 en tant que deux cartes réseau virtuelles par déploiement PNIC . Pour plus d’informations, consultez la section Deux cartes réseau virtuelles par déploiement de pNIC.

Configuration de la prise en charge des files d’attente multiples et du flux RSS sur les appareils VMware ESX pour VMXNET3

Par défaut, le périphérique VMXNET3 ne prend en charge que 8 files d’attente Rx et Tx. Lorsque le nombre de vCPU sur le VPX dépasse 8, le nombre de files d’attente Rx et Tx configurées pour une interface VMXNET3 passe à 1 par défaut. Vous pouvez configurer jusqu’à 19 files d’attente Rx et Tx pour les périphériques VMXNET3 en modifiant certaines configurations sur ESX. Cette option augmente les performances et la distribution uniforme des paquets sur les vCPU de l’instance VPX.

Remarque :

À partir de la version 13.1 build 48.x de NetScaler, le NetScaler VPX prend en charge jusqu’à 19 files d’attente Rx et Tx sur ESX pour les appareils VMXNET3.

Conditions préalables :

Pour configurer jusqu’à 19 files d’attente Rx et Tx sur les appareils ESX pour VMXNET3, assurez-vous que les conditions préalables suivantes sont remplies :

La version de NetScaler VPX est 13.1 build 48.X et versions ultérieures.
NetScaler VPX est configuré avec une machine virtuelle de version matérielle 17 ou ultérieure, prise en charge par VMware ESX 7.0 et versions ultérieures.

Configurez les interfaces VMXNET3 pour prendre en charge plus de 8 files d’attente Rx et Tx :

Ouvrez le fichier de configuration de la machine virtuelle (.vmx).
Spécifiez le nombre de files d’attente Rx et TX en configurant les ethernetX.maxRxQueues valeurs ethernetX.maxTxQueues et (où X est le nombre de cartes réseau virtuelles à configurer). Le nombre maximum de files d’attente configurées ne doit pas être supérieur au nombre de vCPU de la machine virtuelle.

Remarque :

L’augmentation du nombre de files d’attente augmente également la surcharge du processeur sur l’hôte ESX. Par conséquent, assurez-vous que des ressources CPU suffisantes sont disponibles sur l’hôte ESX avant d’augmenter les files d’attente. Vous pouvez augmenter le nombre maximum de files d’attente prises en charge, dans les scénarios où le nombre de files d’attente est considéré comme un obstacle aux performances. Dans ces situations, nous recommandons d’augmenter progressivement le nombre de files d’attente. Par exemple, de 8 à 12, puis à 16, puis à 20, et ainsi de suite. Évaluez les performances à chaque réglage, plutôt que de les augmenter directement jusqu’à la limite maximale.

NetScaler VPX avec interfaces réseau relais SR-IOV et PCI

Pour obtenir des performances élevées pour VPX avec des interfaces réseau SR-IOV et PCI passthrough, reportez-vous à la section Configuration recommandée sur les hôtes ESX.

Instance NetScaler VPX sur la plateforme Linux-KVM

Cette section contient des détails sur les options et paramètres configurables, ainsi que d’autres suggestions qui vous aideront à optimiser les performances de l’instance NetScaler VPX sur la plate-forme Linux-KVM.

Paramètres de performance pour KVM

Effectuez les paramètres suivants sur l’hôte KVM :

Recherchez le domaine NUMA de la carte réseau à l’aide de la lstopo commande :

Assurez-vous que la mémoire du VPX et du processeur est épinglée au même emplacement. Dans la sortie suivante, la carte réseau 10G « ens2” est liée au domaine NUMA #1.

domaine NUMA #1

Allouez la mémoire VPX du domaine NUMA.

La numactl commande indique le domaine NUMA à partir duquel la mémoire est allouée. Dans la sortie suivante, environ 10 Go de RAM sont alloués à partir du nœud NUMA #0.

Noeud NUMA #0

Pour modifier le mappage des nœuds NUMA, procédez comme suit.

Modifiez le .xml du VPX sur l’hôte.

/etc/libvirt/qemu/<VPX_name>.xml
<!--NeedCopy-->

Ajoutez la balise suivante :

<numatune>
<memory mode="strict" nodeset="1"/>    This is the NUMA domain name
</numatune>
<!--NeedCopy-->

Arrêtez le VPX.
Exécutez la commande suivante :
```
virsh define /etc/libvirt/qemu/<VPX_name>.xml

```
Cette commande met à jour les informations de configuration de la machine virtuelle avec les mappages de nœuds NUMA.
Mettez le VPX sous tension. Vérifiez ensuite la sortie de la numactl –hardware commande sur l’hôte pour voir les allocations de mémoire mises à jour pour le VPX.

Épinglez les vCPU de VPX aux cœurs physiques.

Pour afficher les mappages vCPU vers PCPU d’un VPX, tapez la commande suivante
```
 virsh vcpupin <VPX name>
 
```
Les vCPU 0—4 sont mappés sur les cœurs physiques 8 à 11.
Pour afficher l’utilisation actuelle du PCPU, tapez la commande suivante :
```
 mpstat -P ALL 5
 
```
Dans cette sortie, 8 correspond au processeur de gestion et 9 à 11 aux moteurs de paquets.
Pour changer le vCPU en épinglage PCPU, il existe deux options.
- Modifiez-le au moment de l’exécution après le démarrage du VPX à l’aide de la commande suivante :
```
 virsh vcpupin <VPX name> <vCPU id>  <pCPU number>
 virsh vcpupin NetScaler-VPX-XML 0 8
 virsh vcpupin NetScaler-VPX-XML 1 9
 virsh vcpupin NetScaler-VPX-XML 2 10
 virsh vcpupin NetScaler-VPX-XML 3 11
 
```
- Pour apporter des modifications statiques au VPX, modifiez le .xml fichier comme précédemment avec les balises suivantes :
  1. Modifiez le fichier .xml du VPX sur l’hôte
    /etc/libvirt/qemu/<VPX_name>.xml 
  2. Ajoutez la balise suivante :
    <vcpu placement='static' cpuset='8-11'>4</vcpu> <cputune> <vcpupin vcpu='0' cpuset='8'/> <vcpupin vcpu='1' cpuset='9'/> <vcpupin vcpu='2' cpuset='10'/> <vcpupin vcpu='3' cpuset='11'/> </cputune> 
  3. Arrêtez le VPX.
  4. Mettez à jour les informations de configuration de la machine virtuelle avec les mappages de nœuds NUMA à l’aide de la commande suivante :
    virsh define /etc/libvirt/qemu/ <VPX_name>.xml 
  5. Mettez le VPX sous tension. Vérifiez ensuite la sortie de la virsh vcpupin <VPX name> commande sur l’hôte pour voir l’épinglage du processeur mis à jour.

Éliminez les frais généraux d’interruption de l’hôte.

Détectez VM_EXITS à l’aide de la kvm_stat commande.

Au niveau de l’hyperviseur, les interruptions de l’hôte sont mappées sur les mêmes processeurs sur lesquels les vCPU du VPX sont épinglés. Cela peut entraîner le retrait périodique des processeurs virtuels sur le VPX.

Pour trouver les sorties de machine virtuelle effectuées par les machines virtuelles exécutant l’hôte, utilisez la kvm_stat commande.
```
 [root@localhost ~]# kvm_stat -1  | grep EXTERNAL
 kvm_exit(EXTERNAL_INTERRUPT)  1728349 27738
 [root@localhost ~]#
 
```
Une valeur supérieure de l’ordre de 1+M indique un problème.

Si une seule machine virtuelle est présente, la valeur attendue est comprise entre 30 et 100 K. Tout ce qui dépasse peut indiquer qu’un ou plusieurs vecteurs d’interruption d’hôte sont mappés sur le même processeur.
Détectez les interruptions de l’hôte et migrez les interruptions de l’hôte.

Lorsque vous exécutez la concatenate commande pour le fichier « /proc/interrupts », elle affiche tous les mappages d’interruption de l’hôte. Si un ou plusieurs IRQ actifs sont mappés sur le même PCPU, le compteur correspondant est incrémenté.

Déplacez toutes les interruptions qui se chevauchent avec les processeurs de votre NetScaler VPX vers les processeurs non utilisés :
```
 echo 0000000f > /proc/irq/55/smp_affinity
 0000000f - - > it is a bitmap, LSBs indicates that IRQ 55 can only be scheduled on pCPUs 0 – 3
 
```
Désactivez la balance IRQ.

Désactivez le démon d’équilibrage de l’IRQ, de sorte qu’aucune replanification ne se produise à la volée.
```
 service irqbalance stop
 service irqbalance show - To check the status
 service irqbalance start - Enable if needed
 
```
Assurez-vous d’exécuter la commande kvm_stat pour vous assurer qu’il n’y a pas beaucoup de compteurs.

NetScaler VPX avec interfaces réseau photovoltaïque

Vous pouvez configurer des interfaces réseau de para-virtualisation (PV), SR-IOV et PCIe passthrough en tant que déploiement de deux cartes réseau virtuelles par pNIC . Pour plus d’informations, consultez la section Deux cartes réseau virtuelles par déploiement de pNIC.

Pour des performances optimales des interfaces PV (virtio), procédez comme suit :

Identifiez le domaine NUMA auquel le slot/carte d’interface réseau PCIe est lié.
La mémoire et le processeur virtuel du VPX doivent être épinglés au même domaine NUMA.
Le thread Vhost doit être lié aux processeurs du même domaine NUMA.

Liez les threads de l’hôte virtuel aux processeurs correspondants :

Une fois le trafic démarré, exécutez la top commande sur l’hôte.
Identifiez l’affinité du processus hôte virtuel (nommé sous le nom vhost-<pid-of-qemu>).
Liez les processus vHost aux cœurs physiques du domaine NUMA identifié précédemment à l’aide de la commande suivante :
```
taskset –pc <core-id> <process-id>

```
Exemple :
```
taskset –pc 12 29838

```

Les cœurs de processeur correspondant au domaine NUMA peuvent être identifiés à l’aide de la commande suivante :

[root@localhost ~]# virsh capabilities | grep cpu
<cpu>
    </cpu>
        <cpus num='8'>
            <cpu id='0' socket_id='0' core_id='0' siblings='0'/>
            <cpu id='1' socket_id='0' core_id='1' siblings='1'/>
            <cpu id='2' socket_id='0' core_id='2' siblings='2'/>
            <cpu id='3' socket_id='0' core_id='3' siblings='3'/>
            <cpu id='4' socket_id='0' core_id='4' siblings='4'/>
            <cpu id='5' socket_id='0' core_id='5' siblings='5'/>
            <cpu id='6' socket_id='0' core_id='6' siblings='6'/>
            <cpu id='7' socket_id='0' core_id='7' siblings='7'/>
        </cpus>

        <cpus num='8'>
        <cpu id='8' socket_id='1' core_id='0' siblings='8'/>
        <cpu id='9' socket_id='1' core_id='1' siblings='9'/>
        <cpu id='10' socket_id='1' core_id='2' siblings='10'/>
        <cpu id='11' socket_id='1' core_id='3' siblings='11'/>
        <cpu id='12' socket_id='1' core_id='4' siblings='12'/>
        <cpu id='13' socket_id='1' core_id='5' siblings='13'/>
        <cpu id='14' socket_id='1' core_id='6' siblings='14'/>
        <cpu id='15' socket_id='1' core_id='7' siblings='15'/>
        </cpus>

    <cpuselection/>
    <cpuselection/>

<!--NeedCopy-->

Liez le processus QEMU au cœur physique correspondant :

Identifiez les cœurs physiques sur lesquels le processus QEMU est exécuté. Pour plus d’informations, reportez-vous à la sortie précédente.
Liez le processus QEMU aux mêmes cœurs physiques auxquels vous liez les vCPU, à l’aide de la commande suivante :
```
taskset –pc 8-11 29824

```

NetScaler VPX avec interfaces réseau relais SR-IOV et Fortville PCIe

Pour des performances optimales des interfaces réseau relais SR-IOV et Fortville PCIe, procédez comme suit :

Identifiez le domaine NUMA auquel le slot/carte d’interface réseau PCIe est lié.
La mémoire et le processeur virtuel du VPX doivent être épinglés au même domaine NUMA.

Exemple de fichier XML VPX pour vCPU et épinglage de mémoire pour Linux KVM :

    <domain type='kvm'>
        <name>NetScaler-VPX</name>
        <uuid>138f7782-1cd3-484b-8b6d-7604f35b14f4</uuid>
        <memory unit='KiB'>8097152</memory>
        <currentMemory unit='KiB'>8097152</currentMemory>
        <vcpu placement='static'>4</vcpu>

    <cputune>
        <vcpupin vcpu='0' cpuset='8'/>
        <vcpupin vcpu='1' cpuset='9'/>
        <vcpupin vcpu='2' cpuset='10'/>
        <vcpupin vcpu='3' cpuset='11'/>
    </cputune>

    <numatune>
    <memory mode='strict' nodeset='1'/>
    </numatune>

    </domain>
<!--NeedCopy-->

Instance NetScaler VPX sur Citrix Hypervisors

Cette section contient des détails sur les options et paramètres configurables, ainsi que d’autres suggestions qui vous aident à optimiser les performances de l’instance NetScaler VPX sur les hyperviseurs Citrix.

Paramètres de performance pour Citrix Hypervisors

Recherchez le domaine NUMA de la carte réseau à l’aide de la commande « xl » :

xl info -n
<!--NeedCopy-->

Épinglez les vCPU de VPX aux cœurs physiques.

xl vcpu-pin <Netsclaer VM Name>  <vCPU id>  <physical CPU id>
<!--NeedCopy-->

Vérifiez la liaison des vCPU.

xl vcpu-list
<!--NeedCopy-->

Allouez plus de 8 processeurs virtuels aux machines virtuelles NetScaler.

Pour configurer plus de 8 processeurs virtuels, exécutez les commandes suivantes à partir de la console Citrix Hypervisor :

xe vm-param-set uuid=your_vms_uuid VCPUs-max=16
xe vm-param-set uuid=your_vms_uuid VCPUs-at-startup=16
<!--NeedCopy-->

NetScaler VPX avec interfaces réseau SR-IOV

Pour des performances optimales des interfaces réseau SR-IOV, procédez comme suit :

Identifiez le domaine NUMA auquel l’emplacement PCIe ou la carte réseau est lié.
Épinglez la mémoire et le processeur virtuel du VPX au même domaine NUMA.
Liez le vCPU Domain-0 au processeur restant.

NetScaler VPX avec interfaces para-virtualisées

Pour des performances optimales, deux cartes réseau virtuelles par PNIC et une configuration vNIC par pNIC sont recommandées, comme dans d’autres environnements PV.

Pour obtenir des performances optimales des interfaces para-virtualisées (netfront), procédez comme suit :

Identifiez le domaine NUMA auquel l’emplacement PCIe ou la carte réseau est lié.
Épinglez la mémoire et le processeur virtuel du VPX au même domaine NUMA.
Liez le vCPU Domain-0 au processeur restant du même domaine NUMA.
Épinglez les threads Rx/Tx hôtes de vNIC aux vCPU du domaine 0.

Épinglez les threads hôtes aux vCPU Domain-0 :

Recherchez l’ID Xen du VPX à l’aide de la xl list commande sur le shell hôte Citrix Hypervisor.
Identifiez les threads hôtes à l’aide de la commande suivante :
```
ps -ax | grep vif <Xen-ID>

```
Dans l’exemple suivant, ces valeurs indiquent :
- vif5.0 - Les threads de la première interface allouée à VPX dans XenCenter (interface de gestion).
- vif5.1 - Les threads de la deuxième interface affectée à VPX et ainsi de suite.

Épinglez les threads aux vCPU du domaine 0 à l’aide de la commande suivante :

taskset –pc <core-id> <process-id>
<!--NeedCopy-->

Exemple :

taskset -pc 1 29189
<!--NeedCopy-->

La version officielle de ce document est en anglais. Certains contenus de la documentation Cloud Software Group ont été traduits de façon automatique à des fins pratiques uniquement. Cloud Software Group n'exerce aucun contrôle sur le contenu traduit de façon automatique, qui peut contenir des erreurs, des imprécisions ou un langage inapproprié. Aucune garantie, explicite ou implicite, n'est fournie quant à l'exactitude, la fiabilité, la pertinence ou la justesse de toute traduction effectuée depuis l'anglais d'origine vers une autre langue, ou quant à la conformité de votre produit ou service Cloud Software Group à tout contenu traduit de façon automatique, et toute garantie fournie en vertu du contrat de licence de l'utilisateur final ou des conditions d'utilisation des services applicables, ou de tout autre accord avec Cloud Software Group, quant à la conformité du produit ou service à toute documentation ne s'applique pas dans la mesure où cette documentation a été traduite de façon automatique. Cloud Software Group ne pourra être tenu responsable de tout dommage ou problème dû à l'utilisation de contenu traduit de façon automatique.

Optimisez les performances de NetScaler VPX sur VMware ESX, Linux KVM et Citrix Hypervisors

August 25, 2023

Contributeur:

August 25, 2023

Contributeur:

Dans cet article

Instance NetScaler VPX sur des hyperviseurs VMware ESX
Instance NetScaler VPX sur la plateforme Linux-KVM
Instance NetScaler VPX sur Citrix Hypervisors