"To be honest..."が頻繁に使われるフレーズだと思います。
例："To be honest, I didn't like that wine."
(正直にいうと、あのワイン好みじゃなかったんだ。)
少しくだけた言い回しだと、
"Actually..." を日常的によく使っています。
「正直ね、」「[実はね、](https://eikaiwa.dmm.com/uknow/questions/31165/)」と言う意味で使っています。
例："Did you go out with him last weekend?"
（先週末、彼とデート行ったの？）
"Actually, I canceled it."
（ 実はね、やめにしたの。）
質問者様の状況ですと、
"To be honest, that's exactly why."
(正直にいうと、それがまさに理由だったんです。）
もう少しカジュアルだと、
"Actually, that's exactly why."
(実はね、それが[まさに](https://eikaiwa.dmm.com/uknow/questions/48145/)理由だったの。）
と言う感じでしょうか。
お役に立てれば幸いです！
こんにちは。
様々な言い方ができると思いますが、例えば次のような英語表現はいかがでしょうか：
to be honest - 正直に言うと
honest は「正直」という意味の英語表現です。
例：
To be honest, you are right. That's the reason I don't want to go.
正直に言うと、そうなんです。行きたくない理由はそれです。
ちなみにネットでは tbh のように略されることがあります。
ぜひ参考にしてください。
アメリカ合衆国 
日本 
