引っ越すことになったんだが新居の鍵は3つ。夫婦それぞれ1つづつ持つが残り1つを義両親に渡すと言い出した旦那「勝手に入ってくるわけじゃないし」→だったらいらなくね？

引越すことになって、家の鍵が３つ。旦那と私がそれぞれ持って残り１つ。 
残った１つを義両親に渡すと言った旦那。 
義両親が嫌いというわけではないけど、何となくモヤモヤする。 
「勝手に入ってくる訳じゃないんだから」と言うけど、それなら尚更渡さなくてもいいのでは…。 
とりあえず、来るときは連絡あるだろうし、そもそも基本的に私は家にいるから、と 
いうことで保留にしたけど、私の知らないところで渡しそうで不安。 
持ってる鍵で合鍵作って私の親に渡したらどう思うんだろう。気にしなさそうだけど。