It's a waste of out time.
私たちの時間の無駄だよ
→時間がもったいないからやめなさい
傷つけないかどうかは分かりませんが、はっきりと伝えることができると思います。
例
Stop bothering me. It's a waste of our time.
私を困らせるのはやめなさい。時間も無駄だし！
直訳しようとすれば、
It is bothering me more than you think.
あなたが思っている以上に、けっこう嫌なんですよ/困っているんですよ。
more than you think;あなたが思っている以上に
日本 
