あなたが考えてる以上に私は困っています。って英語でなんて言うの？

It's a waste of out time.
私たちの時間の無駄だよ
→時間がもったいないからやめなさい
傷つけないかどうかは分かりませんが、はっきりと伝えることができると思います。

例
Stop bothering me. It's a waste of our time.
私を困らせるのはやめなさい。時間も無駄だし！

直訳しようとすれば、

It is bothering me more than you think.
あなたが思っている以上に、けっこう嫌なんですよ/困っているんですよ。
more than you think;あなたが思っている以上に