あまりピッタリの表現は思いつかないですが、こんなふうに表現しても良いかなと思ったので、一応挙げさせていただきます。
Your hobby isn't that abnormal.
「あなたの趣味はそれほど異常ではない」
Your hobby isn't that strange.
「あなたの趣味はそれほど変ではない」
thatが「そこまで」といったニュアンスです。
補足のご説明には、ある程度内容合致するのかなと思ったので挙げさせて頂きました。
以上です。
少しでも参考になれば幸いです(*^_^*)
★★大阪カフェレッスン英会話講師 KOGACHI