With all due respect, you are the one who didn't make contact.
★ 訳
「お言葉ですけど、連絡しなかったのはあなたですよ」
★ 解説
・with all (due) respect「お言葉ですが、失礼ですが」
これは硬い表現ではあるんですが、めっちゃ嫌味な感じで使われることがよくあります。ご質問者さまの言われる、「敬意を払うわけではなく」もぴったり当てはまります。
ちょっと調べてみたところ、2008年にオックスフォード大学が発表した「最もイライラするフレーズ TOP10」にも、堂々5位!です!w しかしながら、もちろんシチュエーションや言い方によって嫌味にならず使うことができますよ。
ちなみに1位は at the end of the day「結局、要するに」でした。
・you are the one who didn't make contact
「連絡する」の部分には make contact を使いましたが、連絡手段が明確なのであれば「電話しなかった」「LINEしなかった」などに変更すればOKです。
→ you are the one who didn't call me
→ you are the one who didn't LINE me
なお、you are the one who ... は、「あなたが ... の人だ」という意味で、who 以下でどんな人なのかを説明しています。
ご参考になりましたでしょうか。