ご想像にお任せしますよ。
Guessよりかはimaginationをこの場合は使います。
Nobody can tell the exact number of starts, I'll leave it to your imagination.
星の正確な数なんてわかりません。あなたの想像にお任せします。
I'll leave it up to your imagination.
(ご想像にお任せします。)
すでに回答されているアンカー方の仰るように、"imagination" を使ったフレーズが一般的だと思います。これはそのまま「ご想像にお任せします」となります。"leave it to" と "leave it up to" は両方とも使われているで、扱いやすい方を使用されるといいかと思います。
I'll let you wonder.
(ご想像にお任せします。)
"wonder" は「どうなんだろうと思う」という単語で、この表現はそのまま「どうなんだろうと自分で想像してね」となります。
You just have to wonder.
(ご想像にお任せします。)
以上、乱雑で申し訳ありませんが、少しでも参考になれば嬉しいです (*´ω｀*)ﾉ
「想像」→「Imagination」
「(何かを)任せる」→「To leave (something) to」
「（あなたの）ご想像にお任せします」は英語でだいたい
「I'll leave that to your imagination」と表現します。
「I'll leave that to your interpretation」も通じますが、ニュアンス的には少し異なります。「Interpretation」は「解釈」という意味なので、「I'll leave that to your interpretation」というのは、「あなたがどう私の言ったことを訳すのをあなた自身に任せます」。
言い方としてはだいたい「I'll leave that to your imagination」といいます。
アメリカ合衆国 
日本 
シンガポール 
