～したばかりの頃って英語でなんて言うの？

When I first startedで、始めたばかりの頃を表現できます。

When I first started studying English, I didn't even know alphabets.（英語を勉強し始めたばかりの頃は、アルファベットすら知らなかった。）
When we first started dating, we were both broke.（デートし始めたばかり頃、私たちにはお金がなかった）

「～したばかりの頃」はwhen I just ～と言います。
例）
When I just started dating her「彼女と付き合い始めたばかりの頃」
When I just moved here「引っ越してきたばかりの頃」