It's uncomfortable if the person I'm talking to can speak Japanese.
こういう場合の「相手」という表現は英語で話し相手、一緒に話している人になります。
やりにくい、は直訳的にdifficult to doとかになりますが、
気まずくてやりにくい、違和感があってやりにくいという場合ならawkwardやuncomfortableの方がよく使われています。
例えば、
It’s uncomfortable if the person I’m talking to is Japanese
個人的な意見かもしれませんが、日本語の通りの日本人相手なら、という表現じゃなく
英語で日本語も話せる相手、のような表現の方が自然に感じます。
例えば日本語全く話せない日系アメリカ人とかならやりにくくないからですかね。
ご参考になれば幸いです！
My teacher advised me to practice speaking English with a Japanese colleague who can speak English.
But doing that with someone who is Japanese is awkward.
ご質問ありがとうございます。
"My teacher advised me to practice speaking English with a Japanese colleague who can speak English."＝「私の先生は、英語が話せる同僚と英語のスピーキングを練習するように、と私にアドバイスをした。」
"But doing that with someone who is Japanese is awkward."＝「でも、日本人と一緒にそれをするのはやりにくい。」
ご参考までに。
アメリカ合衆国 
