It seems like it rains only when I don't have my umbrella with me.
傘を持って出かけない時に限って雨が降る気がする。
「気がする」＝ It seems like ...
「雨が降る」= it rains ... （雨が来るのは〇〇のときだけ）
そして「いつ雨が降るか」を説明します。
「傘を持って出かけない時に限る」 = only when I don't have my umbrella with me (傘は手元にない時）
ここの「だけ」は「に限る」と意味します。
ご参考に！
アメリカ合衆国 
