良くない出来事があった時の返しの言葉として「お気の毒に」と言いたい時、いくつか表現方法がありますが、一番よく使うのは「That's too bad.」や「I'm sorry to hear that.」です。
sorryと言っても謝っている訳ではなく、「かわいそうに、気の毒に」と言う同情を伝える時にもsorryを使います。また、「残念だ」と言う時にも使う単語です。
「That's too bad.」は「sorry」を使うよりも軽い感じがすると言いますか、そこまで感情を入れずに「ああ、それはよくないね。それは気の毒だね」を伝えることができます。
参考になれば幸いです。