When I can't make myself understood in English, that's when I feel the most frustrated.
I feel the most irritated when I speak English and I'm not able to get my point across.
ーWhen I can't make myself understood in English, that's when I feel the most frustrated.
「英語で意思疎通ができないときが一番辛い。」
make oneself understood で「自分の言葉（考え）をわからせる・意思疎通する・意味が伝わる」
この場合の「一番辛い」は feel the most frustrated と言えると思います。
ーI feel the most irritated when I speak English and I'm not able to get my point across.
「英語で人にわかってもらえないときが、一番辛い。」
get one's point across で「自分の言いたいことを人にわかってもらう・言いたいことを伝える」
feel the most irritated で「一番辛い」と言うこともできます。
ご参考まで！
"The hardest part for me is when my English doesn't come across."
"The hardest part for me is when my English doesn't come across."
「一番難しいのは、私の英語が伝わらないときです。」
"It's really tough when I can't communicate effectively in English."
「英語で効果的にコミュニケーションが取れない時が本当に辛いです。」
"Not being able to make myself understood in English is the hardest part."
"Not being able to make myself understood in English is the hardest part."
「英語で自分の言いたいことを相手に理解してもらえない（英語が伝わらない）ことがいちばん辛い（一番大変な部分だ）」
make myself understood（自分の言うことを相手に理解してもらう、自分の英語を分からせる）を使うことで、頭では分かっているのに言葉が伝わらないもどかしさを表現できます。
"The toughest thing is when people don't understand my English."
「一番辛いのは、周りの人に自分の英語を理解してもらえない（英語が伝わらない）ときだよ」という意味の表現です。
カナダ 
アメリカ合衆国 
