You are number one to me. は[私にとって](https://eikaiwa.dmm.com/uknow/questions/57104/)はあなたが[一番](https://eikaiwa.dmm.com/uknow/questions/66588/)なんだよ。と言う意味です。
number one は一番と言う意味です。
to me は私にとってと言う意味です。
お役に立ちましたか?^_^
まず、「You're number one WITH me」は間違えです。
こちらだと「貴方は私がいるからナンバーワン」と言う意味になります。
母はそう言おうとしていたのかもしれないですが。
お求めの英語は「For me, you're number one」になります。
訳すと、「[私にとって](https://eikaiwa.dmm.com/uknow/questions/57104/)、貴方はナンバーワン」。