I can't go back to the time when~ とは一般に「私は~頃には戻れない」の英訳ですがこの場合英語で "before" を使った方が自然です。
I can't go back to the time before~ が「私は~前には戻れない」になります。"the time" はなくても構いません。
I can't go back to (the time) before I met him.
私は彼と出会う前(の時代)には戻れない
I can't go back to (the time) before we met.
私たちの出会う前(の時代)には戻れない