なかなかLINE の返事が来ないので、病気かと心配していたら、ただ忙しかっただけだったとき相手にいいたい。
You had me worried for a moment.
ちょっと心配しちゃったよ。
You had me worried は過去形なので、心配していたけどもう大丈夫だと分かった場合に使う言い方です。
すごく心配していた場合は、
You had me worried sick.
なんて言い方もあります。
心配してしまうとこだったよ。
心配させやがって!
Just text me if you are busy.
忙しいなら連絡してよね。