状況によって変わると思います。
まずは by 「〜によって」通信手段や交通手段など、結構機械化されているようなものはこれだと私は覚えています。
I went there by car.
車でそこへ行きました。
I'll contact you by email.
Eメールで連絡します。
スポンジなどもっと単純な道具である場合は with であることが多いです。
I cleaned the dishes with a kitchen sponge.
私はスポンジで皿を綺麗にしました。
I eat rice with chopsticks.
私は箸でご飯を食べます。
hand の場合は少しややこしく
by hand という「（機械ではなく）手を使って」というフレーズがあるので、
I mixed it by hand.
それを手で（機械を使わずに）混ぜました。
I mixed it with my left hand.
私はそれを左手で混ぜました。
というどちらの場合もありえます。
日本 
