Surveillance de l’expérience réseau

Vue d’ensemble

Le serviceNetwork Experience Monitoring (NEM) (anciennement appelé Netscope) permet aux fournisseurs de services, aux entreprises, aux FAI et aux fournisseurs de services tiers d’accéder à des journaux de mesures Radar détaillés et à des rapports standard sous la forme de données exploitables résumées. NEM propose plusieurs journaux et rapports standard que les clients peuvent utiliser pour mesurer la qualité de leurs services.

Cette solution inclut la fourniture de mesures Radar « brutes » et l’accès à l’API ITM Data. NEM fournit à la fois les données granulaires (sous forme de mesures brutes ou d’agrégats de données) et les alertes de seuil de données. Ces services aident à la découverte, isolent la disponibilité de la plate-forme et les problèmes de performances des homologues de la plateforme et des FAI sous-jacents.

Mesures « brutes » radar: Les mesures radar fournissent des informations granulaires par événement qui sont groupées quotidiennement. Les mesures radar incluent les données de mesure publiques, communautaires et privées collectées par le tag. Les données telles que la disponibilité, le temps de réponse, le débit pour les mesures HTTP et HTTPS sont incluses. Les champs de données suivants sont fournis :

• ID du fournisseur, adresse IP du résolveur, adresses IP client masquées (/28)
• En-tête de référence obscurci, agent utilisateur, ASN de l’utilisateur final
• Données géographiques pour les champs du résolveur et du client

Les mesures radar disponibles dans les mesures « brutes » sont les suivantes :

• Disponibilité, temps de réponse et débit (lorsqu’ils sont mesurés)
• Heure de recherche DNS (en option), heure de connexion TCP (en option) et heure de connexion sécurisée (en option)
• Latence (facultatif)
• Heure de téléchargement (facultatif)

Les mesures radar sont disponibles pour permettre aux clients d’effectuer leur propre analyse des données collectées. L’ensemble de données comprend des informations sur les performances et la disponibilité des fournisseurs (erreurs) pour une gamme de protocoles de communication.

Les données du fichier journal sont disponibles pendant 7 jours à partir d’un compartiment AWS S3 ou Google Cloud Storage. Les clients peuvent récupérer les fichiers journaux des données communautaires et privées à l’aide des méthodes d’accès aux compartiments standard.

Mesures « brutes » radar en temps réel (en option) : Les mesures radar brutes sont fournies en temps réel à un compartiment AWS S3. Ces journaux sont généralement disponibles dans les 5 minutes suivant leur collecte. Ils fournissent autant de granularité que les mesures brutes radar mentionnées précédemment.

API de données: L’API de données ITM Radar fournit des agrégats de données de mesure privées et de la communauté publique de Radar. Les données sont mises à jour en continu et mises en lots environ toutes les 60 secondes pour être récupérées par l’API. L’API de données est fournie pour permettre aux clients d’intégrer les données Radar dans leurs propres rapports et tableaux de bord.

Partage et livraison de journaux

• Les journaux radar peuvent être fournis en temps réel et quotidiennement.
• Les rapports sont exécutés quotidiennement.
• Les résultats sont enregistrés dans AWS S3 (S3) ou Google Cloud Storage (GCS).
• Les journaux et les rapports ont tous deux une période de conservation de 7 jours et sont automatiquement supprimés une semaine après leur création.
• Les rapports sont généralement au format TSV (valeur séparée par des tabulations) ou JSON selon le type de rapport.

Les clients reçoivent des informations de connexion pour accéder aux compartiments S3 et GCS. Un outil de ligne de commande tel que s3cmd ou l’interface de ligne de commande AWS pour S3 ou le gsutil pour GCS peut être utilisé pour vous connecter. Le fichier de configuration S3cmd reconnaît les clés d’accès reçues via l’interface utilisateur du portail et aide l’utilisateur à se connecter au compartiment S3.

L’interface de ligne de commande AWS doit être installée sur l’ordinateur du client pour se connecter à S3 et accéder aux journaux. Pour GCS, le client reçoit le fichier de clé d’accès sous forme de téléchargement via l’interface utilisateur du portail, qui peut être utilisé avec l’outil gsutil. Pour plus d’informations, consultez la FAQ.

Les clients reçoivent des notifications par e-mail dès que des rapports sont disponibles.

Paramètres de la plate-forme

Vous devez configurer votre plate-forme pour prendre en charge et produire les données requises pour Netscope NEM. Avant de commencer, assurez-vous que les paramètres suivants sont activés pour votre plateforme :

• Pour les détails de synchronisation des ressources, activez Inclure les horodatages dans les paramètres radar avancés.

Navigation

Dans le menu principal, sélectionnez Netscope NEM. La page Configuration de la surveillance de l’expérience réseau s’ouvre.

Plates-formes

Sélectionnez les plateformes requises pour démarrer le processus de configuration.

REMARQUE :

Les journaux et les rapports peuvent être configurés et générés uniquement si au moins une plate-forme ou un réseau est sélectionné.

Les données résumées que le client reçoit incluent les mesures Radar de certaines plateformes (pour tous les réseaux associés).

Sélection de plates-formes

Pour les fournisseurs de services de contenu ou les entreprises, sélectionnez des plateformes telles que des CDN, des clouds, des centres de données ou d’autres points de terminaison. Sélectionnez les plateformes pour lesquelles des mesures sont requises.

Journaux Radar

• Les journaux Radar sont disponibles pour les plateformes.
• Ils incluent un sous-ensemble des champs disponibles dans les journaux bruts, avec certaines données anonymisées : IP du client /28, hachage Referer MD5.
• Toutes les mesures prises pour les plates-formes publiques sont fournies, quelle que soit la page qui a généré la mesure.

REMARQUE :

NEM n’expose jamais les adresses IP complètes des clients. Au lieu de cela, il expose le /28. Par exemple, une adresse IP de 255.255.255.255 est affichée dans un rapport sous la forme 255.255.255.240/28.

Fréquence du journal

Les journaux radar peuvent être générés quotidiennement (toutes les 24 heures), c’est-à-dire en fin de journée, heure UTC. Les journaux peuvent également être générés en temps réel (minute par minute).

Format de fichier

Choisissez TSV ou JSON pour recevoir les journaux et les rapports dans l’un de ces formats.

Type de mesure

Vous pouvez configurer les journaux pour les types de mesure suivants : disponibilité, temps de réponse et débit. Dans le rapport, 1 : Disponibilité, 0 : Temps de réponse HTTP et 14 : Débit HTTP.

Détails du calendrier des ressources

Vous pouvez choisir d’inclure également les détails de synchronisation des ressources en cliquant sur les boutons Oui ou Non. Les détails de la synchronisation des ressources incluent,

• Heure de recherche DNS
• Heure de connexion TCP
• Temps de connexion sécurisé
• Heure de téléchargement

Pour la description des journaux, voir Descriptions et rapports des journaux radar pour les fournisseurs de services et les entreprises.

Journaux de synchronisation de navigation

Fréquence du journal

Les journaux de synchronisation de navigation peuvent être générés tous les jours (toutes les 24 heures), c’est-à-dire en fin de journée, heure UTC. Les journaux peuvent également être générés en temps réel (minute par minute).

Format de fichier

Choisissez TSV ou JSON pour recevoir les journaux de synchronisation de navigation dans l’un de ces formats. Pour la description des journaux, voir Descriptions des journaux de synchronisation de navigation.

Journaux Openmix

Fréquence du journal

Les journaux Openmix sont générés en temps réel (c’est-à-dire minute par minute). Ces journaux fournissent des mesures en temps réel pour les clients Openmix.

Format de fichier

Choisissez TSV ou JSON pour recevoir les journaux Openmix et HTTP Openmix dans l’un de ces formats. JSON est cependant le format recommandé.

Pour la description des journaux, consultez la section Descriptions des journaux Openmix.

Prestation de services cloud

Cette option vous permet de sélectionner le mode de livraison. Vous pouvez choisir de recevoir des journaux et des rapports dans le compartiment AWS S3 ou dans le compartiment Google Cloud Storage (GCS). Vous pouvez accéder aux compartiments S3 et GCS avec les informations de connexion fournies et utiliser s3cmd ou l’interface de ligne de commande AWS pour S3. Et la ligne de commande gsutil pour GCS.

AWS S3

Pour les journaux et les rapports à livrer au compartiment AWS S3, sélectionnez AWS S3.

Emplacement

L’emplacement représente le compartiment dans AWS S3 où les journaux et les rapports sont enregistrés.

Clés IAM

Si vous sélectionnez le bouton Generate Keys sous AWS S3, les clés AWS IAM (clés d’accès et clés secrètes) sont générées et affichées sous IAM Keys. Assurez-vous d’enregistrer les clés, car elles ne sont stockées nulle part pour être consultées ultérieurement.

REMARQUE :

La paire de clés d’accès et de clé secrète est la seule copie des clés privées. Le client doit les stocker en toute sécurité. La régénération des nouvelles clés invalide les clés existantes. Le fichier de configuration S3cmd reconnaît les clés d’accès (reçues via l’interface utilisateur du portail) et aide le client à se connecter au compartiment S3. L’interface de ligne de commande AWS doit être installée sur la machine du client pour se connecter à S3.

Pour plus d’informations sur l’utilisation des clés d’accès et secrètes avec s3cmd pour télécharger des rapports depuis le compartiment S3, consultez la FAQ.

Stockage Google Cloud

Pour que les journaux et les rapports soient envoyés à GCS, sélectionnez Google Cloud Storage.

Emplacement

L’emplacement représente le compartiment dans Google Cloud Storage où les journaux et les rapports sont enregistrés.

Clés IAM

Lorsque vous sélectionnez le bouton Générer un fichier de clé, le fichier de clé de compte de service Google est téléchargé sur votre ordinateur.

REMARQUE :

Ce fichier clé constitue la seule copie de la clé privée. Prenez note de l’adresse e-mail de votre compte de service et stockez en toute sécurité le fichier de clé privée du compte de service. La régénération d’un nouveau fichier clé invalide le fichier existant.

Ce fichier de clé peut être utilisé avec l’outil gsutil pour télécharger des journaux et des rapports à partir du compartiment GCS. Pour plus de détails sur l’utilisation du fichier clé pour télécharger des fichiers journaux, consultez la FAQ.

Descriptions et rapports des journaux radar pour les fournisseurs de services et les entreprises

Journaux radar pour les fournisseurs

• Ces journaux fournissent des mesures radar pour les partenaires de référence.
• Ils fournissent toutes les mesures prises pour les plateformes publiques, quelle que soit la page qui a généré la mesure.
• Les journaux radar comprennent un sous-ensemble des champs disponibles dans les journaux bruts, avec certaines données anonymisées : client IP /28, Referer MD5 haché.
• Voici un exemple de Platform Radar Log Share au format de fichier TSV.

REMARQUE :

• NEM n’expose jamais les adresses IP complètes des clients. Au lieu de cela, il expose le /28. Par exemple, une adresse IP de 255.255.255.255 est affichée dans un rapport sous la forme 255.255.255.240/28.
• Les informations GEO du client sont extraites en fonction de l’IPv4 du client, qui est plus détaillé.

Descriptions du journal

Voici les en-têtes de colonnes et les descriptions des journaux radar. Les champs apparaissent dans l’ordre suivant dans les fichiers de sortie :

Description des journaux de synchronisation de navigation

Données de synchronisation de navigation

Les données de synchronisation de la navigation fournissent des informations sur les différentes parties du processus de chargement de la page pour une page Web.

Ces données varient en fonction de la localisation de l’utilisateur final, des problèmes de réseau, des modifications apportées par le fournisseur, etc. Les clients peuvent utiliser les données de synchronisation de navigation pour optimiser l’expérience de l’utilisateur final lors du chargement de la page Web surveillée.

Des mesures peuvent être prises pour chaque session Radar (si elle est activée). Chaque session est associée à un numéro d’identification qui permet de suivre toutes les mesures d’une session. Ces mesures sont partagées avec les clients sous forme de journaux de synchronisation de navigation via NEM.

Voici un exemple de données de synchronisation de navigation au format de fichier TSV.

Vous trouverez ci-dessous les en-têtes de colonnes et les descriptions des journaux de synchronisation de navigation. Les champs apparaissent dans l’ordre suivant dans les fichiers de sortie :

Journaux Openmix et HTTP Openmix

Les journaux Openmix et HTTP Openmix permettent aux clients d’utiliser des mesures en temps réel pour surveiller le comportement de leurs applications Openmix. Ils peuvent utiliser ces données pour trouver des domaines d’amélioration ou pour vérifier les performances attendues de leurs applications.

• Ces journaux fournissent des mesures en temps réel pour les clients Openmix.
• Le format de fichier recommandé pour ces journaux est JSON, mais ils sont également disponibles au format TSV.
• Voici des exemples de données de partage de journaux Openmixet HTTP Openmix au format de fichier TSV.

Description du journal OpenMix

Description du journal de l’API HTTP Openmix

Rapports personnalisés pour les organisations tierces

Les clients peuvent travailler avec NetScaler pour obtenir des rapports personnalisés basés sur les données Radar collectées par NetScaler. NetScaler peut générer des rapports à exécuter selon un calendrier. Les rapports sont disponibles sous forme de fichiers de données, généralement au format TSV.

Questions fréquentes

Radar

À quelle fréquence les fichiers sont-ils transférés vers S3 et GCS ?

La fréquence des dépôts de fichiers est d’une fois par minute pour Radar et quotidienne pour les rapports.

Où sont stockés les rapports ?

S3 Legacy (emplacement 1) :

s3://public-radar/[customer name]/

S3 (emplacement 2) :

s3://cedexis-netscope/[customer id]/

GCS (Emplacement 3) :

gs://cedexis-netscope-[customer id]/

Comment obtenir des informations d’identification d’accès S3 si vous ne les avez pas déjà ?

Le portail fournit une clé « Accès » et une clé « Secret ». Utilisez les touches avec « s3cmd », « awscli » ou d’autres outils pour accéder à S3. Pour Google Storage, le portail télécharge un fichier contenant des informations d’identification à utiliser avec l’outil « gsutil ».

Comment utiliser les clés d’accès et secrètes avec s3cmd pour télécharger des journaux et des rapports à partir du compartiment S3 ?

Vous devez d’abord télécharger et installer s3cmd depuis https://s3tools.org/download, et vous reporter à https://s3tools.org/usage pour l’utilisation, les options et les commandes. Exécutez ensuite la commande suivante :

s3cmd --access_key=[access key] --secret_key=[secret key] ls s3://cedexis-netscope/<customer id>/radar/
<!--NeedCopy-->

Pour télécharger les fichiers, exécutez la commande suivante :

s3cmd --access_key=[access_key] --secret_key=[secret_key] get s3://cedexis-netscope/<customer id>/radar/[the_filename_to_download] [the_name_of_the_local_file]
<!--NeedCopy-->

Comment utiliser la configuration s3cmd pour répertorier les fichiers dans le compartiment S3

La première étape consiste à installer s3cmd. Vous pouvez l’installer depuis http://s3tools.org/download

Pour configurer s3cmd, exécutez la commande suivante

s3cmd ls s3://cedexis-netscope/[customer id]/
<!--NeedCopy-->

Si vous utilisezs3cmd déjà un autre jeu de clés d’accès et de clés secrètes, procédez comme suit :

Si vous l’utilisez déjà s3cmd, faites une copie de la configuration par défaut, à l’adresse ~/.s3cfg. Par exemple, faites une copie et nommez-la comme ~/.s3cfg_netscope. Remplacez les entrées de clé d’accès et de clé secrète ~/.s3cfg_netscope par celles que nous fournissons. Utilisez la nouvelle configuration au lieu de celle par défaut (celle de votre entreprise) pour accéder au compartiment S3 avec la commande suivante :

s3cmd -c ~/.s3cfg_netscope ls s3://cedexis-netscope/[customer id]/
<!--NeedCopy-->

La principale différence est la nécessité d’insérer un -c et l’emplacement du fichier de configuration avec les clés secrètes fournies par NetScaler.

Si vous souhaitez basculer entre les jeux de clés, intégrez-les dans un fichier. Reportez-vous au fichier avec l’option -c pour spécifier la paire de clés que vous utilisez.

REMARQUE : -c le paramètre indique où se trouve le fichier de configuration, qui contient les clés d’accès et secrètes.

Comment utiliser le fichier clé avec gsutil ou gcloud pour télécharger des fichiers journaux

Une fois que vous avez téléchargé le fichier de clé JSON du compte de service Google, vous pouvez l’utiliser pour authentifier les informations d’identification de votre compte Google, afficher ou télécharger vos fichiers journaux. Par exemple, voici un moyen de le faire à l’aide de Google gcloud et des utilitaires de ligne de gsutil commande :

Étape 1 : Activer le fichier de clé

Les commandes d’authentification gcloud auth activate- ou gsutil config -e sont nécessaires pour authentifier le fichier clé pour l’exécution des commandes gcloud ou gsutil.

Pour gcloud :

Exécutez la commande suivante à l’aide du fichier clé téléchargé :

gcloud auth activate-service-account --key-file [downloaded config file]
<!--NeedCopy-->

Ou

gcloud auth activate-service-account --key-file=[path and file name of key file]
<!--NeedCopy-->

Pour gsutil :

Exécutez la commande suivante à l’aide du fichier de configuration téléchargé :

gsutil config -e
<!--NeedCopy-->

Étape 2 : Liste des fichiers dans le compartiment GCS (Google Cloud Storage)

Une fois que vous avez activé le fichier clé du compte de service comme décrit à l’étape précédente, utilisez la commande suivante pour répertorier les fichiers dans le compartiment GCS :

gsutil ls gs://cedexis-netscope-<customer id>
<!--NeedCopy-->

Étape 3 (si nécessaire) : Restaurer les informations d’identification d’origine (ou basculer d’un compte à l’autre)

Vous pouvez passer du compte NetScaler ITM aux autres informations d’identification Google Cloud que vous avez authentifiées en procédant comme suit.

Exécutez d’abord la commande suivante pour répertorier tous vos comptes :

gcloud auth list
<!--NeedCopy-->

Utilisez ensuite la commande suivante pour passer à un autre compte :

gcloud config set account [email of the account to switch to as shown in gcloud auth list]
<!--NeedCopy-->

Vous pouvez passer d’un compte à l’autre à l’aide de la même commande, en remplaçant l’e-mail par l’adresse e-mail du compte vers laquelle vous souhaitez basculer.

À quoi ressemble le nom du fichier ?

Héritage Quotidien :

Les noms ShareFile du journal journalier Radar ont la structure suivante :

<prefix><date: YYYY-MM-DD>.<customer_id>.part<uniq_id>.kr.txt.gz

Par exempleCedexis_Daily-2017-11-07.21222.part-cc901e1dd55eal4e.kr.txt.gz (exemple non standard)

Legacy en temps réel :

Les noms ShareFile du journal en temps réel Radar ont la structure suivante :

<prefix><customer_id>-YYYY-MM-DDTHH:MM<uniq_id>.txt.gz

Par exemple Cedexis_3-32291-2017-11-08T20:56-cc907e8fd71eaf4e.txt.gz

Format NEM Netscope :

Le format Netscope NEM pour les fichiers de partage de journaux quotidiens et en temps réel a la structure suivante :

<freq><log_type><prefix><id_type><id><iso_dt><uniq_id>.<line_format>.gz

Où,

• freq : "daily" | "rt" | "hr"
• log_type : "radar" | "opx" | "hopx"
• prefix : log_share.prefix
• id_type : "customer" | "provider" | "asn"
• id : log_share.match_id
• iso_dt : iso 8601 Date_time "YYYYMMDDTHHMMSSZ"
• uniq_id : hash(UUID)
• line_format : "tsv" | "json"

Par exemple rt-radar-TestRadar1-provider-20363-20171209183034Z-cc907e8fd71eaf4e.tsv.gz

Quel est le format du fichier de sortie ?

Pour Radar, le format de fichier de sortie est TSV (valeur séparée par des tabulations), gzippé.

API HTTP Openmix et Openmix

À quelle fréquence les fichiers sont-ils transférés vers S3 ?

La fréquence des dépôts de fichiers est une fois par minute pour Openmix et HTTP Openmix.

Que se passe-t-il si vous ne voyez pas l’option permettant de configurer le partage de journaux en temps réel Openmix et Openmix HTTP API ?

Votre responsable de compte peut activer le rôle requis pour configurer et activer le partage de journaux en temps réel Openmix et Openmix HTTP API.

Comment activer Openmix et une API HTTP Openmix pour partager des journaux en temps réel et accéder aux fichiers ?

Une fois que le rôle est activé sur votre compte, l’icône Gérer les journaux s’affiche. Cliquez pour ouvrir la boîte de dialogue Logs dans laquelle vous pouvez accéder aux paramètres de configuration des journaux Openmix. Ces paramètres sont essentiellement tout ce dont vous avez besoin pour activer le partage de journaux en temps réel Openmix et HTTP Openmix et accéder aux fichiers.

Qu’est-ce que le processus back-end ?

L’activation du partage des journaux Openmix permet également le partage des journaux de l’API HTTP Openmix. Les services de partage de journaux de l’API HTTP Openmix et Openmix doivent commencer à générer des journaux pour le client dans les 10 minutes.

Où sont stockés les rapports Openmix et HTTP Openmix ?

S3 Legacy (emplacement 1) :

s3://logshare/[zone ID]/[customer ID]/logs/openmix/json/[YYYY]/[MM]/[DD]/[HH]/.

S3 (emplacement 2) :

s3://cedexis-netscope/[customer id]/

GCS (Emplacement 3) :

gs://cedexis-netscope-[customer id]/

À quoi ressemble le nom du fichier ?

La structure des noms de fichiers pour Openmix et HTTP Openmix ressemble généralement à ceci :

Legacy en temps réel :

[zone ID, 1][customerID]-openmix-json[YYYY][MM][DD][HH][mm][ss]Z-m1-w9-c0.gz

Format NEM Netscope :

Le format Netscope NEM pour les fichiers de partage de journaux quotidiens et en temps réel a la structure suivante :

<freq><log_type><prefix><id_type><id><iso_dt><uniq_id>.<line_format>.gz

Où,

• freq : "daily" | "rt" | "hr"
• log_type : "radar" | "opx" | "hopx"
• prefix : log_share.prefix
• id_type : "customer" | "provider" | "asn"
• idv : log_share.match_id
• iso_dt : iso 8601 Date_time "YYYYMMDDTHHMMSSZ"
• uniq_id : hash(UUID)
• line_format : "tsv" | "json"

Par exemple hr-opx-TestOpenmix1-provider-20363-20171209183034Z-cc907e8fd71eaf4e.tsv.gz

Quel est le format de fichier de sortie ?

Le format de fichier pour Openmix et une API HTTP Openmix est JSON (gzippé).