I live in the city of Osaka, a part of Osaka prefecture.
「大阪は大阪でも」にこだわると行き詰まります。
たとえば上の回答のように
I live in the city of Osaka, a part of Osaka prefecture.
(大阪府の一部である大阪市に住んでいます)
でいいと思います。
あるいは、あえて言うならば a part of Osaka prefecture を
in a prefecture of the same name, "Osaka."
としてもいいですが、はっきり言ってくどいですね。(笑)
普通に、どの都市にすんでいる話に、I live in (都市名) という表現が使えますが、都市ということを強調したいなら、the city of (都市名) と言えます。
勘違いしまうとき、このような返信が使えます。
A: I live in Osaka.
B: Oh really? Where in Osaka?
A: I mean Osaka the city, not the prefecture.