メモを机に置く時、書類だらけだから仕方なく接近しただけなのに露骨に離れる男性職員。そんな態度を取られると私だって悪い印象を持ちかねないし気分悪いんですがなんなの？

男性の心理について質問です。 
職場にいる男性のことですがの机に度々メモを置くときに、 
その職員の机の周りがファイルだらけで机の上も書類だらけだったので 
仕方なく男性に接近してメモを置きました。すると、露骨に私から 
離れるように身体を後ろに反らせました。その男性は結婚もしているので 
女性が苦手というわけでもないと思います。そんな露骨に嫌な態度を 
とられると、その職員に対して悪い印象を持ちかねないし、私も気分の良い 
ものではないです。こういう態度を表せる男性の心理を教えて下さい。