「かわいそうに」というフレーズは英語で状況によって様々な言い方をしますが、恋人でない異性に対して共感や同情を表現する際には "I'm sorry to hear that." を使うのが一般的です。これは「それを聞いて残念だ」という意味で、相手が何か悪い経験や困難な状況を話した時に使えます。
「Poor darling」という表現はもともと親しい間柄や恋人同士で使われることが多く、相手を慰める時の愛情表現です。ただし、親しい関係ではない異性に対しては、誤解を招く可能性があるため使用するのは避けた方が良いでしょう。一般的に、性別や関係性に制限なく使用できる同情表現には "That's too bad" や "I feel for you" などがあります。