Of all the people I could have been partnered with, I have to partner with 〇〇.
この場合は、次のように言えます。
ーOf all people, I have to be paired up with 〇〇.
「よりによって〇〇とペアかよ」
ーOf all the people I could have been partnered with, I have to partner with 〇〇.
「よりによって、〇〇がパートナーかよ」
このように of all people を使って「よりによって」を表現します。
別の例:
ーOf all the questions I could have been asked on my math test, I was asked a question I'm not good at.
「よりによって数学のテストで苦手な問題が出るなんて」
この場合は、of all the questions を使って表現できます。
ご参考まで!