It might be a little too soon to say this, but I dream about living with you.
Maybe I’m going too fast, but living with you is my dream.
I could be taking things too quickly right now, but living with you is my dream.
「もう遅い」と言う意味の「too late」のように、逆の意味を表する「too soon」や「too early」と言う表現もあります。「早すぎ」と言う意味であり、「ちゃんとする前に」と言う感じもあります。その他に、特に愛情関係の話では「going too fast」とか「taking things too quickly」とも言えます。