（長い話に対し）そういえば~って英語でなんて言うの？

By the way のようにバッサリいく感じではなく、
あ、そうそう、という感じでハンドルを緩やかに切るイメージの
表現が

Speaking of which,

という表現です。

けっこう使えるのでぜひ使ってみてください！

Sorry to interrupt you, but…話の腰を折って悪いんだけど…

Interruptとは「邪魔をする」と言う意味です。これだとBy the wayと同様まだまだ優しさがあるので、こちらはどうでしょう：

Sorry to end your rant, but…長い話を終わらして悪いんだけど…

Rantとは元々「熱狂的なわめき」と言う意味ですが、日常会話では「無駄に長い話」と言う風に使われています。敢えて相手に話が長い事をアピールしたら話し手も「あれ、ちょっと喋り過ぎちゃって不快だったのかな」と気付いてくれるはずでしょう。

そう言えばでは無いのですが話を切るときによく使うのはanywayです。
意味は「それはさて置き」や「それはともかく」のニュアンスです。

「（長い話に対し）そういえば」という場合に、

"Oh! Can I add something quickly?"

"Oh! Sorry to interrupt but ~."

という表現を使うことも出来ます。

"add"は、「付け加える」

"interrupt"は、「中断する」

という意味です。

ご参考になれば幸いです。