I don't have a set routine =特にルーチンは決まっていない
I come whenever I feel like it =気が向いた時に来るんだ
ただこれだと失礼に聞こえてしまうかもしれないので
Usually on weekdays =大体平日
I'm not a morning person =朝は苦手なタイプです
などとヒントを与えましょう。
I come here when I fancy.
好きな時にくるよ。
「特に曜日は決まっていません。」=「気分が乗った時にくる」ということだと思います。
自分が来たいと思った時に来るよ。といったニュアンスになると思います。
そして、この fancy という表現は like みたいな意味ですが、とてもブリティッシュイングリッシュな気がします。
I come here when I fancy.
I come here when I like.
I come here when I want to.
全て同じような意味になります。