D'où viennent les données de trafic d'Exchange Online ?

L’origine et la nature des données utilisées par Promodag Reports pour ses rapports de trafic des boîtes aux lettres Office 365 font l’objet de questions récurrentes. D’où viennent ces données ? Quelles informations contiennent-elles ? Quelles sont leurs limitations ? De quelle manière sont-elles collectées par Promodag Reports ? Nous allons à présent tâcher d’aborder ces différentes questions.

Le suivi des messages dans Exchange Online

Origine et nature des données disponibles

Exchange Online étant un environnement hébergé, il n’est pas possible d’y importer des fichiers physiques (ou tracking logs) comme nous le faisons depuis plus de deux décennies dans les environnements Exchange sur site. Mais Microsoft permet d’accéder aux données de suivi des messages au travers de la fonctionnalité suivi des messages du centre d’administration Exchange et, sous le capot, de la commande PowerShell Get-MessageTrace. Celle-ci a été récemment remplacée par Get-MessageTraceV2, plus performante.

Les données retournées par cette commande sembleront familières aux administrateurs Exchange habitués à parcourir le contenu des fichiers de suivi des messages d’Exchange sur site : en effet, ce sont presque les mêmes : adresse de l’expéditeur, des destinataires, taille, objet, Message ID etc.

Limitations des données par rapport à Exchange sur site

Limitation la plus importante, la durée de rétention de ces données : la commande Get-MessageTrace était limitée à 10 jours sans possibilité de modification, tandis que la durée par défaut (et modifiable) est de 30 jours pour Exchange sur site. Get-MessageTraceV2 étend cette période à 90 jours. Cette commande est utilisée par défaut à partir de Promodag Reports v.14.1. Cependant, le problème demeure : passés ces 90 jours, les données de suivi des messages disparaissent définitivement.

Certaines des informations auparavant disponibles ont changé, voire disparu :

• le niveau des destinataires des messages envoyés (A, Copie, Copie caché),
• l’adresse de l’expéditeur réel d’un message envoyé de la part d’une boîte aux lettres déléguée. 

Ce qui a bien entendu un impact sur le niveau de détail des rapports de trafic. Le rapport Recherche de messages spécifiques affiche donc tous les destinataires comme s’ils étaient destinataires principaux du message envoyé, et les messages envoyés de la part d’une boîte aux lettres déléguée sont identifiés comme l’ayant été par elle dans tous les rapports de trafic. Nous avons cependant créé un rapport permettant de contourner partiellement ce dernier problème : Envois délégués, qui fit l’objet de ce post en 2023.

Exploitation des données d’Exchange Online par Promodag

Promodag développe deux outils distincts : StoreLog, un gratuiciel dont le périmètre est limité à la génération des tracking logs Exchange Online et à leur import dans une base de données, et Promodag Reports, une solution payante mais beaucoup plus élaborée permettant la création de multiples rapports tabulaires et graphiques.

Avec Promodag StoreLog

Pour bien comprendre le défi que constitue l’exploitation de ces données, nous vous renvoyons à ce post que nous avions publié en 2014 lors de la mise au point d’une méthode pour notre utilitaire gratuit StoreLog. Les données retournées par PowerShell sont triées dans l’ordre antichronologique et par pages de 5 000 messages qui peuvent se chevaucher si la commande a été exécutée plusieurs fois à la suite. 

Nous avons donc créé un processus automatisable permettant de récupérer les données dans des fichiers horaires, en les triant par ordre chronologique et dans des colonnes dont le contenu est aussi proche que possible que celui des fichiers de suivi des messages d’Exchange. L’algorithme vérifie également leur cohérence, ce qui permet d’éviter la création de doublons.

Avec Promodag Reports 

Le processus en question a été intégré à notre outil de reporting phare dès 2014, puis constamment amélioré depuis.

L’option Créer des fichiers de suivi des messages Office 365 permet ainsi de lancer une génération manuelle de 24 tracking logs Office 365 horaires par journée, en remontant jusqu’à 90 jours en arrière, et ce jusqu’à la date d’aujourd’hui il y a une heure. Ce processus peut être entièrement automatisé.

Ces tracking logs sont créés par défaut dans le répertoire C:\Users\Public\Documents\Promodag\Reports\Office365MessageTracking\<nom de votre tenant>.

Quel est l’intérêt de créer des tracking logs Exchange Online ?