En fait "Angle" est définis dans une autre partie de la macro et le problème ne venait pas de cette partie. Et je pense que le problème venait de l'utilisation de décimales puisque que un nombre entier ne posait pas de problème...
Enfin bref, j'ai finalement réussi avec la formule de Jean-Eric :
Dim pi As Double
pi = 4 * VBA.Atn(1)
UDF = VBA.Sqr((360 * area * z) / (pi * angle))
Range("AJ" & j) = UDF
Je l'ai un peu modifier pour qu'elle puisse fonctionner dans ma boucle mais tout marche nickel.
Merci à tous pour vos réponses et bonne continuation !