You can't just summon me just because you finished work early!
急に~されても困る
You can't just ~
と言うことができます。直訳ではないですが、~を勝手にやってというニュアンスの言い方です。
summon
召喚
呼び出しは、invite me out, call me to come out, などいろいろ言い方はありますが、召喚 summon を使うことによって無理やり感を強調してみました。
これに、
I have plans too!
私だって予定がある!
と付け足せば、自分勝手なところが困ると言うことが伝わるかと思います。
困ることや、嫌なことはしっかり伝えないと、人間関係が壊れてしまいかねないですよね!なのでちゃんと言うのは大切なので、しっかり意味が伝わるのを願います!
お役に立てれば幸いです!