（長い話に対し）そういえば~って英語でなんて言うの？

By the way のようにバッサリいく感じではなく、 あ、そうそう、という感じでハンドルを緩やかに切るイメージの 表現が Speaking of which, という表現です。 けっこう使えるのでぜひ使ってみてください！

Sorry to interrupt you, but…話の腰を折って悪いんだけど… Interruptとは「邪魔をする」と言う意味です。これだとBy the wayと同様まだまだ優しさがあるので、こちらはどうでしょう： Sorry to end your rant, but…長い話を終わらして悪いんだけど… Rantとは元々「熱狂的なわめき」と言う意味ですが、日常会話では「無駄に長い話」と言う風に使われています。敢えて相手に話が長い事をアピールしたら話し手も「あれ、ちょっと喋り過ぎちゃって不快だったのかな」と気付いてくれるはずでしょう。

そう言えばでは無いのですが話を切るときによく使うのはanywayです。 意味は「それはさて置き」や「それはともかく」のニュアンスです。

「（長い話に対し）そういえば」という場合に、 "Oh! Can I add something quickly?" "Oh! Sorry to interrupt but ~." という表現を使うことも出来ます。 "add"は、「付け加える」 "interrupt"は、「中断する」 という意味です。 ご参考になれば幸いです。