Forで[~のために](https://eikaiwa.dmm.com/uknow/questions/52257/) reasonで理由です。下記の例を参考にしてください。
I'm allergic to nuts. For that reason, I have to be careful about what I eat.
私はナッツアレルギーです。そういうわけで食べるものに[注意](https://eikaiwa.dmm.com/uknow/questions/36372/)しなければなりません。
このように文のつなぎにに使える便利な表現です。
同じようにbecause of thatに書き換えることもできます。「それが理由で」「それのおかげで」のような意味です。
that's whyは「[だから](https://eikaiwa.dmm.com/uknow/questions/36270/)~だ」といった意味です。
that'sはthat is=「それは・あれは」の略です。
また、that's whyはthat is the reason whyというフレーズの略でもあるとされています。
何か理由を説明する時に、先に説明してから、その後で、結論を言うときによく使われる表現です。
My girlfriend loves cute things. That's why, I bought her Hello Kitty plushie for her birthday.
僕の彼女は可愛いもの[大好きだ](https://eikaiwa.dmm.com/uknow/questions/133791/)。だから彼女の誕生日にハローキティのぬいぐるみを買ってあげたんだ。