日本語の「ちなみに」には、大きく二つの意味/用法があります。一つは、質問者さんが書かれているように「[話題を変える](https://eikaiwa.dmm.com/uknow/questions/9209/)場合」で、もう一つは、「[情報](https://eikaiwa.dmm.com/uknow/questions/36381/)を付け加える場合」です。
前者には「by the way」が適しますが、後者には英訳例に示した表現が適します。
実は、by the wayで正解です。文字どおり、by the wayは「その道に沿って」という意味がありますので「ちなみに」で合っています。日本語と違うのは、すでに述べた情報に付け加える場合にのみ使われます。話の途中で、その話の筋で思い出すことってありますよね。「あ、そういえば」という感じで使えます。
そして最近よくあるのは、かがみ あきらさんがおっしゃっているように、for your informationを略して、FYIをメールだけでなく会話上でもよく使われます。見て分かりますように「参考までに」というニュアンスを持ちます。
話題を変えたい場合ですと、anywayを使います。中には、anywaysとなぜか-sを付ける人もいます。話が脱線して元のトピックに戻したい時だったり、単にトピックを変えたかったりする時に使う用法です。日本語と少し使い方のニュアンスが変わってきますが、ぜひ覚えておいてくださいね。