大体は文脈でわかりますが、単語だけで聞くと two なのか to なのか too なのか分かりづらいということもあると思います。
そのような時の場合のやりとりをご紹介します。
Do you mean the number two?
数字の2という意味ですか?
Are you talking about the number? Number two?
数字の話をしていますか?数字の2?
また、2は two に限らず、何を数えているかによっては second 「2番目の」という場合もあります。the second floor 「2階」、the second person 「2番目の人」など。その場合、文章では 2nd で表されることもあります。