ーto only speak Japanese with Japanese people
「日本人と日本語だけで会話する」=「日本人とばかり(日本語で)会話する」と言えます。
例:
Even though I live in America, I mostly speak Japanese with my Japanese friends which doesn't help improve my English skills at all.
「アメリカに住んでいるのに、日本人の友達と日本語ばかり話しているので、英語が全然上達しない」
to mostly speak Japanese with my Japanese friends で「日本人の友達と日本語ばかり話す」とも言えます。
ご参考まで!