just talking with you is fineは間違っていないです。間違っていたから返事が来なくなったというわけではないと思います。
Just talking with you is okayでも表現できます。
fineはokayと少しだけ違います。例えば
イラっとして「それでいい」を英語で言えば大体That's fineになります。
ですが、主に口調によって解釈されますので、
just talking with you is fineだけで雰囲気が悪くなるとは想像しにくいです。
ご参考になれば幸いです！
アメリカ合衆国 
