傷を付けられた事ではないよ、と言いたいとき、
"It's not that I'm offended..."
そして、「I'm offended」を省いても良いです。
"It's not that!"
更に説明したい場合には、
"it's just that..." (ただこういう事です)
を付け加えましょう。
A: "Your wig looks dumb." (あのカツラはださいよ。)
B: "What?! ..."
A: "Don't be offended."
B: "It's not that. It's just that my grandma gave me this wig before she died..."
(そんな事ないよ。ただ、亡くなったお婆ちゃまから貰ったもの・・・)