この場合は次のように言えるかと思います。
ーI know it has to be me.
「俺じゃないとダメなのはわかってるよ」
it has to be me で「私じゃないとダメ」
ーI know you can't have anyone but me.
「俺以外のやつじゃダメなのはわかってるよ」
you can't have anyone but me で「俺以外のやつじゃダメ」
ご参考まで！
You can’t do without me.
You need me and no one else.
英語では **can’t do without** や **need me and no one else** のような表現で近いニュアンスを表せます。
* **You can’t do without me.**
直訳は「君は私なしではやっていけない」で、軽くからかうように「結局俺じゃないとダメだろ？」と言いたいときに自然です。
* **You need me and no one else.**
「君には俺以外必要ない」という意味です。
カナダ 
アメリカ合衆国 
