Récente baisse de performance

Bonjour,
je ne sais pas si ça peut aider à diagnostiquer la récente baisse de vitesse perçue sur le cluster, mais je peux partager avec d'autres utilisateurs qui rencontreraient ou non les mêmes baisses de performances récentes que moi quelques tests pour les illustrer:

Sur l'usage du disque:


Une utilisation importante de ma part. Je pense que je dois faire le ménage de mon côté, et peut être par chaque utilisateur si cela peut améliorer l'utilisation générale.

La décompression d'une archive de 14 Mo en répertoire de 60 Mo prend désormais 53 secondes:

Contre 0.25 secondes sur mon laptop:


Ce qui me frappe c'est le caractère récent de cette différence entre le cluster et mon laptop. Il y a une semaine, ce n'était pas aussi grand.

Vim nécessite 15 secondes pour ouvrir un petit fichier de 22 lignes, 512 octets (0.13 secondes pour mon laptop):
image

Au moment de faire ces petites mesures, il y a en effet un certain nombre de jobs en cours (484):

De mon côté, c'est une baisse qui n'a lieu que depuis une semaine pour une utilisation assez intensive depuis cet été. Avant la semaine dernière, le cluster était d'une remarquable fluidité et les jobs tournaient de manière extrêmement fiable sans planter.

Je guette le moment où il n'y aurait aucun job en cours sur le cluster pour voir si c'est vraiment lié à la nature des jobs en exécution ou si c'est devenu une caractéristique du cluster pour des raisons inconnues.

Un problème avec ce genre de cluster disponible aux biologistes, c'est que nous utilisateurs avant tout biologistes, passons probablement à côté de certaines bonnes pratiques qui, peut être, cumulées sur plusieurs mois d'utilisation, peuvent être responsables d'une baisse de performance générale. Sur la gestion de l'espace disque, sur la fermeture des fichiers après écriture dans python, et certainement une tonne d'autres bonnes pratiques que j'oublie surement sans le savoir.

Bonne semaine à tout le monde!

C.

Bonjour @camille_roux,

Voici une réponse officielle de l'équipe à ce problème : Problème de performance sur l'IFB Core Cluster

Merci de ta patience et désolé pour ce désagrément