go out=「デートする」
from that moment=「あの瞬間から」
We have been going out from that moment.
「あの瞬間から、私たちは付き合っています(デートしています)」
since that time=「あの時以来」
It’s been five years since that time.
「あれ以来5年が経ちます」
since then=「その時以来」
I have been studying English since then.
「それ以来英語を勉強しています」
ご参考まで