I cannot let it go unchallenged.
これは、それをunchallenged(挑戦されない状態)
で野放し(let it go)できない、という意味です。
つまり、自分が挑戦してやる、的な意味合いを含んだ
文章になりますね。転じて「聞き捨てならない」です。
Wait, are you sure what you are saying?
これもまた意訳です。つまり黙って聞き流すわけに
行かない、という意味合いなので、
「待てよ、言ってることは確か?」
と冗談ぽくでも、真面目な感じででも
このセリフを使ってください。
聞き捨てならない、は直訳だと英語では
不自然なので、意訳してみました。