ひどい時にはって英語でなんて言うの？

追加を意味するwhat is moreの変形ですね。what is worseで「さらに悪い(ひどい)ことには」という副詞句を形成します。ちなみに名詞節としても使えますので、what's worse is that SVと続けることも可能です。

「ひどい時には」というのは when it gets bad か at it's worst で表現することができます。 when it gets bad のほうが直訳と近くて、at it's worst は（もっともひどい時には）と相当する意味になります。 「悪い人間関係は精神だけでなく肉体にも影響します。ひどいときには体を壊してしまいます」というのは Bad personal relationships don't only affect you mentally, they also affect you physically. When it gets bad they can physically break you down と表現することができます。 「体を壊す」という部分は break you down physically が相当する意味になると思います。 参考になれば幸いです。