That isn't how the phrase/word(s) is /are really supposed to be used
That's not the correct way of using that / those phrase/word(s)
まずはストレートで直訳に、「That's not what it really means」(それは本来の意味ではない)と言えば、その場で、その状況の中で、“that"(それ)が相手の “言い方” やその言葉の使い方のニュアンスを指していることから、”本来の意味で使っていない” という意味で相手に伝わることと思います。
もう少しちゃんと言うのであれば、「That's isn't how the phrase is really supposed to be used.」(直訳:そのフレーズの使い方は本来の使われる方法ではない)とくだいて説明するのも一つですね。
これと同じような言い方が、”That's not the correct way of uisng those words" (直訳:その単語の使い方は間違っている)ですが、“not correct" (正しくない)と言い切っちゃっている分だけ少しキツ目の表現になるかもしれません。
いずれにせよ、これは私たち日本人による英語の単語や表現のにもまた同じようなことが言えるものが数多くありますね。言葉が変われば文化も変わり、その結果感性も見解も変わります。それらを同時に少しずつでも理解していく努力を積み重ねることで徐々に違う言語の各表現の微妙な感性がわかるようになるんですね。
英語もがんばってください♪