小4子の同級生、雨の日だけウチに来る。晴れてる日には来ないしうちの子が誘っても断って、うちの子以外の子達で遊んでるんだが…

小学4年生の我が子の友達数人が雨の日だけうちに来る 
でも晴れてる日には誘われないし、うちの子が誘っても断られる、断られた日に公園でその子達が遊んでいるのをよく見掛ける（うちの子はこの事実を知らない） 
ちなみに相手のおうちに行った事は一度もない（母親が働いているらしいので相手のおうちでは遊べない） 
雨の日は凄いストレスで眠れないし、これからは断る事にしたけど、我が子にどう説明しようか悩む