丁寧に言いたいということですが、はっきりと直接的に言った方が良いのでは。
あなたに[振り回され](https://eikaiwa.dmm.com/uknow/questions/8048/)たくない＝[悩まされ](https://eikaiwa.dmm.com/uknow/questions/70361/)たくないということなのでbotherを使ってもよいのではないでしょうか。
I don't want to be bothered by you.
＝あなたに悩まされたくない。
・"play with me" は、どちらかというと”弄ばれている”という感覚です。 「私の気持ちを[弄ばないで](https://eikaiwa.dmm.com/uknow/questions/86730/)！」という時に"Don't play with me! "と言います。それにPleaseをつけましたが、どちらかというと親しい間柄（恋人同士など）にチクリと、しかしやや怒りを込めて言うイメージです。
・"at the mercy of〜"は”〜[次第](https://eikaiwa.dmm.com/uknow/questions/57902/)・に左右される” という意味です。
私のスケジュールはいつもあなたのwhim (気まぐれ）次第、という言い方で、私はあなたに[振り回されている](https://eikaiwa.dmm.com/uknow/questions/8048/)、というニュアンスを伝えました。
I don't want to change my schedule any more... と付け足してもいいかもしれません。（私ならハッキリ言っちゃう）
I don't want you messing up my schedule all the time.
I don't want you messing up my schedule all the time.
いつもあなたに予定を狂わされたくないの。
上記のように英語で表現することもできます。
all the time は「いつも」という意味の英語表現です。
mess up はここでは「めちゃくちゃにする」「狂わせる」です。
お役に立てればうれしいです。
またいつでもご質問ください。
日本 
アメリカ合衆国 
