その言葉は使える相手が限られます って英語でなんて言うの？

この場合は、次のように言うのが自然で良いと思います。

ーThat's not the kind of word you can use with just anyone.
「それは誰にでも使える種類の言葉ではない」

ーYou can't use a word like that with everyone.
「みんなに使える言葉ではない」

ご参考まで！