take time off は物事を中断するときに使えます。
I hurt my knees, so I'm going to take time off from exercising.
膝を痛めたので運動をしばらく中断します。
leave of absence は良く職場などで育児休暇や療養休暇などで使われる
フレーズです。学校を休学するときも使えます。
I'm taking a leave of absence from work to study in the UK.
イギリスで勉強するために仕事を休職をします。
Leave of absenceは主に仕事や学校など、どこかに在籍している
物からしばらく離れる時に使います。take time off はカジュアルな
場面でもフォーマルな場面の両方で使えるので趣味を一時中断する時でも
仕事を休職するときでも使えます。