I made an impertinent comment the last time we talked, and it's been bothering me ever since.
I made an off-the-cuff comment last time we were together, and I've felt kind of bad about it since then.
この場合、次のような言い方ができますよ。
ーI made an impertinent comment the last time we talked, and it's been bothering me ever since.
「この前話した時に適当なことを言って、それ以来ずっと気になってたの」
to make an impertinent comment で「適当なことを言う」と言えます。
ーI made an off-the-cuff comment last time we were together, and I've felt kind of bad about it since then.
「この前会った時適当なこと言って、それ以来ずっと申し訳なく思ってたの」
to make an off-the-cuff comment でも「適当なことを言う・咄嗟に思いついたことを言う」と言えます。
ご参考まで！
I said something a little random the other day and I was worried if it might have been offensive.
ご質問ありがとうございます。
・「I said something a little random the other day and I was worried if it might have been offensive.」
（意味) 先日適当に何か言ってしまってちょっと失礼なこと言ってしまったかなって少し心配していたの。
<例文>I said something a little random the other day and I was worried if it might have been offensive. I hope I didn't hurt your feelings.
<訳>先日適当に何か言ってしまってちょっと失礼なこと言ってしまったかなって少し心配していたの。 私の言葉で傷ついていなければいいけど。
参考になれば幸いです。
カナダ 
アメリカ合衆国 
