You always disappear when it comes to important things.
You always ghost on me when it comes to important things.
You always disappear when it comes to important things. (あなたは大事なことになると、すぐにいなくなる、また話をはぐらかす)
という言い方ができます。また、Ghost on (someone) という表現を使った、
You always ghost on me when it comes to important things.
という表現も紹介します。
参考になれば幸いです。