It is not fair to regard someone as a fool without talking talking with him/her well.
「少し話しただけで」は a little などを使うよりも、「十分に話さないで」という意味の
without talking with 人 well
の方が自然です。
「その人を〜と決めつける」は、「AをBとみなす」の
regard A as B
でいいと思います。
「おかしい」は wrong でもいいですが、この内容では not fair(正当ではない)の方がいいでしょう。