同棲してる彼「君のがんばる姿が負担になるから控えてほしい。休日が休日でないように感じる」←私が悪いのか？

「君のがんばる姿が負担になるから控えてほしい」と同棲してる彼氏に言われました
「土日の休みなのにあれやらなきゃこれやらなきゃとわざわざ最低限の家事以上の課題を見つけて取り組むこと」
「テレビ見てても「この人見習って私もがんばらなきゃ！」と言い出されると休日が休日でないように感じる」
「君が趣味でやりたいことやるのは構わないが、その結果どっと疲れを溜めてくるぐらいならやめてくれ」
そう文句を言われました

今こうやって書き出してみると彼氏の気持ちもわからなくはないですが、言われた当時は正直イラッとして言い返してしまいました
これは私と彼氏のどっちが悪いんでしょう？
私から謝るべきか、彼氏が気にしすぎだと思ってスルーしておくべきか悩みます