I thought I should have said that afterwards.
（あの時）それを言えばよかったと後から思った。
should have 〜 で「〜するべきだった」という表現ができます。
afterwards ＝ （とある出来事の）後から
laterはもっと漠然とした「後で」なので、今回のように話し手と聞き手が双方に具体的な「ある出来事の後」をイメージしているならafterwardsを使うことが多いように思います。
「後から思う」を「後悔」とするとこんな言い回しができると思います。
I regret that I should have told him in a positive/different way.
=彼にはもっとポジティブ/違う言い方をすればよかったと後悔しています。
I regret that I should have told him NO that time.
あの時彼にノーと言えばよかったと後悔しています。
日本 
