（By the way ではない）「ちなみに」って英語でなんて言うの？

日本語の「ちなみに」には、大きく二つの意味／用法があります。一つは、質問者さんが書かれているように「話題を変える場合」で、もう一つは、「情報を付け加える場合」です。

前者には「by the way」が適しますが、後者には英訳例に示した表現が適します。

だいたいの意味：

一番目「ちょっとメモづけすると」。よくでる口語です。

二番目「あ、いまこの話をしているうちに（言っておきたいんだけど）」。

三番目は「誰々さんが言ったことにちょっと加筆すると…」。

どれも「ところで」と違って話の流れを変えるというよりは、延長する感じで使います。

実は、by the wayで正解です。文字どおり、by the wayは「その道に沿って」という意味がありますので「ちなみに」で合っています。日本語と違うのは、すでに述べた情報に付け加える場合にのみ使われます。話の途中で、その話の筋で思い出すことってありますよね。「あ、そういえば」という感じで使えます。

そして最近よくあるのは、かがみ あきらさんがおっしゃっているように、for your informationを略して、FYIをメールだけでなく会話上でもよく使われます。見て分かりますように「参考までに」というニュアンスを持ちます。

話題を変えたい場合ですと、anywayを使います。中には、anywaysとなぜか-sを付ける人もいます。話が脱線して元のトピックに戻したい時だったり、単にトピックを変えたかったりする時に使う用法です。日本語と少し使い方のニュアンスが変わってきますが、ぜひ覚えておいてくださいね。