英語が話せないのをいいことにって英語でなんて言うの？

I am so sorry this is happening to you :(

「英語が話せないのをいいことに」は英語で　They take advantage of the fact that I am unable to speak English.　です
英語が話せないのを = unable to speak English
いいことに = take advantage of

私が英語が話せないことをいいことに影で散々私のことを悪く言う
They take advantage of me being unable to speak English and talk bad about me behind my back.
They take advantage of the fact that I can't speak English and badmouth me behind my back.

ご質問ありがとうございます。

こういうことは気に毒ですよね。

「私が英語があまり話せないの」＝「I can't speak English well」
「いいことに影で散々私のことを悪く言う」＝「(they) talk behind my back」

この表現は会話的だし、アメリカ人によってもよく使われて入る気がします。もちろん英語の代わりに何かの他の言語が入っています。

ご参考になれば幸いです。