上司が「あの人は誘ったか？あいつには声かけたか？」と どこから飲み会の話を聞いたのかは分かりませんが いちいち聞いてくるのが地味にストレス

愚痴&相談です。
会社の個人的な飲み会って、どの辺りまで声をかけますか？
私が勤めている会社は社員7～8名、
アルバイト・パートが30名ほどいます。
私は高卒で入社し現在23歳です。
会社全体の飲み会は新年会と忘年会くらいで、
幹事の人は社員からアルバイト、パートの人達にも声をかけ、
来られる人は是非と誘っています。
もちろん強制ではありません。
仕事終わりや休みの日に行う個人的な飲み会は
社員等関係なく仲の良い人達だけでやるのですが、
それを上司が快く思ってないようです。
その飲み会のメンバーは大体決まっており、
全体で10人いかないくらい、そのうち社員は2～3名ほどです。
上司曰く「仲が良いのは勝手だけど、まず全体に
声をかけてそこから来れる人を誘ってやりなよ。
全員に声掛けてないならそんな飲み会するな」だそうで、
それだと会社全体の飲み会のと変わらないんじゃ…と
思ってしまいます。
社員同士仲は良いですが、
全員とプライベートな付き合いがあるか？と言われるとそうではありません。
例えばAさんとBさんは休みの日も遊んだりしているけど、
Cさんを誘うことはあまりない。
でもCさんがそれについて文句や不満を口にしたこともなく、
Dさんとご飯や飲みに行ったりしている、という感じです。
アルバイトやパートさんも、
個人的な飲み会に誘われなかった！なんで！という人もおらず、
やりたい人だけでどうぞ、といった感じです。
たまには仲の良い人達だけで飲みたいのに、
上司が「あの人は誘ったか？あいつには声かけたか？」と
どこから飲み会の話を聞いたのかは分かりませんが
いちいち聞いてくるのが地味にストレスです。
やはり個人的な飲み会を開く場面でも
全員に声を掛けないといけないのでしょうか？
分かりづらい文章＋長くなってすみません。