Ah oui je vois,
ça ne propose pas de ne supprimer que certains cellules quand tu filtres, il faut passer par une autre astuce.
Dans l'onglet Accueil tu as un bouton avec une loupe qui s'appelle "Rechercher et sélectionner", tu sélectionnes la plage sur laquelle tu veux trouver les cellules vides, tu cliques sur le bouton, tu choisis l'option "Sélectionner les cellules...", tu vois ensuite la fenêtre dans l'image, tu choisis cellules vides, et seules les cellules vides de ta sélection précédente seront sélectionnées, tu dois ensuite pouvoir faire un clic droit sur l'une d'elles et choisir l'option "supprimer".
J'espère que cette solution te conviendra.