It's hard for me to drive and talk in English at the same time.
Sorry, I can't speak foreign language and drive at the same time.
もしかしたら、いつもは英語がちゃんと話せるから
集中力が要るものだとは思っていない可能性が高いですよね。
ですので、
It's hard for me to drive and talk in English at the same time.
運転しながら英語で喋るのは、私にとっては難しい事なんだ。
もしくは、
Sorry, I can't speak foreign language and drive at the same time.
ごめん、外国語を話すのと運転は同時には出来ないんだ。
と言う風に
自分にとっては英語が『外国語である』と改めて主張しておくと
相手も「悪いことをした」と気付いてくれると思いますよ。