英語であまりよく聞くフレーズではありませんが、直訳すると"if you say it that much"です。
よく聞かないだけで、実際に言っても通じるフレーズだとは思います。
(例)
I'm losing confidence if you say it that much
そこまで言われると自信なくしちゃうな
「そこまで」は that far / so far があります。
バナナスマートさんの文の itをこれで置き換えるというのが１つ。
もう１つは、
Hearing you say that far takes my confidence away.
これは英語でよく使う「人以外のものを主語にする」言い方で、直訳すると
「あなたがそこまで言うのを聞くことは、私の自信をなくさせる」
（take awayは「...を取り去る」）
ということになりますが、ご質問の和文の意味をそのまま表しています。
こんな風に発想を変えることも考えてみてください！
日本 
