"会話が聞こえてきた"は「I could hear your conversation~」と表現しますね。こちらの例では「could hear」で"聞こえる、聞こえてきた"と表し"会話"は「conversation」になります。そちらの挙げた「I Heard that 〜」は"~と聞いたのですが"という表現になりますね。
他にも「overheard」で"洩れ聞く"または"立ち聞きする、盗み聞きする"とも表現できます。
例
・I could hear you having an argument with A(あなたがAさんと口論しているのが聞こえてきました)