I didn't live in Tokyo at the time, I moved here 2 years ago
そちらの挙げた例でも大丈夫ですが他にも上記の様な表現もありますね。
こちらの例では代わりに「I didn't live in Tokyo at the time」を使ってます。そちらの「I wasn’t in~」は"○○に居なかった"と言う表現になりますので"○○に住んでなかった"と言いたいのなら「I didn't live in~」の方をお使いになれば良いかと。こちらの例では「live」で"住む"と表現しています。"その時~"と特定の時を指す場合は「at that time」でも「at the time」とでも表現できます。