お言葉ですけど、連絡しなかったのはあなただよ？って英語でなんて言うの？

★ 訳
「お言葉ですけど、連絡しなかったのはあなたですよ」

★ 解説
・with all (due) respect「お言葉ですが、失礼ですが」
　これは硬い表現ではあるんですが、めっちゃ嫌味な感じで使われることがよくあります。ご質問者さまの言われる、「敬意を払うわけではなく」もぴったり当てはまります。

　ちょっと調べてみたところ、2008年にオックスフォード大学が発表した「最もイライラするフレーズ TOP10」にも、堂々5位！です！ｗ しかしながら、もちろんシチュエーションや言い方によって嫌味にならず使うことができますよ。

　ちなみに1位は at the end of the day「結局、要するに」でした。

・you are the one who didn't make contact
　「連絡する」の部分には make contact を使いましたが、連絡手段が明確なのであれば「電話しなかった」「LINEしなかった」などに変更すればOKです。
　
　→ you are the one who didn't call me
　→ you are the one who didn't LINE me

　なお、you are the one who ... は、「あなたが ... の人だ」という意味で、who 以下でどんな人なのかを説明しています。

　ご参考になりましたでしょうか。