mustonさん、こんにちは。
もし、
A: 彼の部屋ってすごく暖かいんでしょ？
B: いや、すごい暖かいわけじゃない。
といった文脈で使われると（あくまでも）仮定しますと、
「彼の部屋は（思われているほど、言うほど）暖かくはないよ」という意味で、
It is not that warm in his room.
と、that が使えます。
日本語でも、「彼は、言うほど悪い奴じゃないよ」
という言葉遣いがありますが、英語で that を使うケースは
それに近いと思います。
ex. Don't worry. He is not that bad.
「心配しないで。彼は（思われているほど、言うほど）悪くはないよ。」
という感じです。
あくまでも、文脈としてそのように思われている、ということが
thatを使う前提条件です。
・・・少しでも参考として頂けますと幸いです。
日本 
