これは英語でも一つの決まった、よく聞くフレーズがあります。
それは、”I can't be the one to tell you that." 、または助動詞だけ変えた他の方法、”I'm not going to be the one telling you that." など、直訳は、「それをあなたに伝えることは私にはできない」、または「それをあなたに伝える人になるつもりはない」という訳で、意訳すると「それは、わたしの口からは言えません」というニュアンスの表現になります。
また、”You'll have to ask that to someone else."、「それは他のどなたかに聞いてください。」という逆の言い方もまた通じますね。もちろん、上記一個目の英訳例とこの二個目の表現を連続して言うこともまた自然な一つの会話上よく聞くフレーズかもしれません。
ご参考まで~!!