When it rains, I always forget my umbrella.
だと、「雨が降っているときに、私はいつも傘を忘れる」となって、時系列が同じようになってしまう気がしたので。
(1) I never have my umbrella when I actually need it
'never have' = 「持っていない」
「本当に必要な時に限って傘を持っていない」
(2) My umbrella is never with me when it's actually raining.
'never with me' = 「持っていない」「そばにない」
「本当に雨が降っている時に限って傘を持っていない」