On second thought, I cannot go out with clients/customers.
On second thought, I cannot go out with clients/customers privately.
最初は行けるかも...という話であったのなら「よくよく考えてみると = On second thought」をつけて、
よくよく考えてみると、お客様とは遊びに行けません。
On second thought, I cannot go out with clients/customers.
お客様は「Customers」ですが「Client」の方がプロフェッショナルで丁寧です。