"会話が聞こえてきた"は｢I could hear your conversation~｣と表現しますね｡こちらの例では｢could hear｣で"聞こえる､聞こえてきた"と表し"会話"は｢conversation｣になります｡そちらの挙げた｢I Heard that 〜｣は"～と聞いたのですが"という表現になりますね｡
他にも｢overheard｣で"洩れ聞く"または"立ち聞きする､盗み聞きする"とも表現できます｡
例
・I could hear you having an argument with A（あなたがＡさんと口論しているのが聞こえてきました）
こんにちは！
ご質問ありがとうございます。
先のアンカーさんが回答されておりますので、ここでは他の例を挙げてみます。
I overheard A talking to you on the phone.
とすると、「Aさんがあなと電話で会話しているのが聞こえてきた」となります。
I overheard you arguing with A and getting upset.
とすると、「あなたがAさんと口論していて[憤慨](https://eikaiwa.dmm.com/uknow/questions/77008/)しているのが聞こえてきた」となります。
役に立ちそうな単語とフレーズ
overhear ふと耳にする、立ち聞きする、小耳に挟む
参考になれば幸いです。
アメリカ合衆国 
日本 
