ジュリアンさんが言うように自分の顧客という意味で、clientが良いと思います。
Invite me to ... ; ...に誘われる
Toの後は動詞の原型でも、名詞が来ても構いません。
They invited me to their party on this Saturday.
この土曜日にあの人たちのパーティーに誘われちゃった
「① My client asked me out for a casual drink.」
「お客様に普通の飲みに誘われました」
↑ 英語で「取引先」と言うのは結構難しく私は思います。何故なら、取引先は顧客なのかどうか明確ではないので、この回答において「顧客」だと想定させていただきました。別の取引関係でしたらそれを明確にした方がいいかと思います。
さて、カジュアルドリンクですが、色恋ではなく普通の飲みだと宣言する感じになっています。もちろん、そこから色々発展すると raise an eyebrow する人もいるかもしれないけれど！
ジュリアン
アメリカ合衆国 
イギリス 
