In addition to not being able to speak English, I had to deal with Australian English.
On top of not being able to understand English, I had to deal with Australian English.
I can't understand the English we use in class, not to mention Australian English.
「ただでさえ」は「in addition to」か「on top of」になります。
「これなので、さらにこれ」というニュアンスがあります。
In addition to not being able to speak English, I had to deal with Australian English.
ただでさえ英語が話せないのに、オーストラリア英語を扱わないといけなかった。
On top of not being able to understand English, I had to deal with Australian English.
ただでさえ英語が理解できないのに、オーストラリア英語を聞いて理解しないといけなかった。
「Not to mention」もここで使える表現だと思います。
「Not to mention」は「言うまでもない」という意味です。
I can't understand the English we use in class, not to mention Australian English.
授業で使う英語でさえ理解できない。オーストラリア英語は言うまでもない。
I'm not good at English, so there is no way I can understand Australian English.
おっしゃられている内容は、以下のようにも表現できると思いました(*^_^*)
I'm not good at English, so there is no way I can understand Australian English.
「わたしは英語が上手くないのに、オーストラリア英語なんて分かりっこない」
「ただでさえ」の部分は英訳が難しいので、すっ飛ばしましたが、それでも全体の意味は大体同じになっていると思います(*^_^*)
以上です。
少しでも参考になれば幸いです(*^_^*)
アメリカ合衆国 
日本 
