何で私が来た時だけ？！って英語でなんて言うの？

この場合は、次のように言うと良いと思います。
ーWhy did it always rain whenever I came?
「なんで私が来る時はいつも雨が降るの？」

ーThe only days it seemed to rain were the days I came.
「雨が降るのは私が来る時だけのようだ」＝「私が来るといつも雨が降るようだ」

ご参考まで！