It must be difficult to leave when everyone is talking.
It is hard to end the conversation when you are into it.
パーティなどの場を抜ける、どこかから出る、というのは
"leave"が使えます。
"It must be difficult to leave when everyone is talking."
「皆が話してる時に出るのは難しいでしょうね。」
"when you are having fun"だと
「楽しくやってる時に」ということでパーテイなど皆でわいわい楽しく過ごしている時に帰らないといけない場合に使えます。
"leave"は自分がその場を去る、ということで残った人たちはまだ会話やパーティを続けている印象ですが、二人だとそういうわけにいかないので、その場合は「会話を終える」ということで
"end the conversation"
にしました。
"be into it"は
何かにはまっている、この場合会話にどっぷりつかっている、会話がはずんでいる、という感じです。
日本 
