オープンカフェで夫にお酒を勧めたら夫は「いいの！？」と１杯だけ飲んでた。二人組女性「奥さん可哀想ー」

私の夫はかなり育児に協力的で、平日も仕事に行く前に子供のお世話をしてくれたり、土日はご飯もお風呂も寝かしつけもしてくれます。
先日の休みに家族で出かけた時、観光地のオープンカフェで地酒が置いてあって、それを見た夫が「こういう日に飲めたら最高だなー」と言い出したので、日頃からの感謝もあり、折角だから飲んだら？と勧めました。
夫は嬉しそうに「いいの！？」と1杯だけ注文して席について飲んでいました。
私は子供がまだ乳児なので子供のお世話をしつつ自分のドリンクをのんでいたのですが、近くの席の二人組の女性がこっちをチラチラ見ているのに気づきました。
初めは赤ちゃん好きな人なのかな？と気にしていませんでしたが、その二人がこちらに聞こえるような声で「旦那さん、子供の面倒も見ずにビール飲んでるよ」
「あーぁ奥さん可哀想」
みたいな事を言いだしました。
他のお客さんにも聞こえていたと思います。
びっくりして夫を見ると、当然ですが夫にも聞こえていたみたいで顔を真っ赤にしていました。
私は慌てて二人にむかって、「夫は普段から仕事も育児も頑張ってくれているので、たまのリフレッシュとして飲んでもらってるだけです。」と伝えたんですが、微妙な空気になってしまい、夫と共にカフェを出ることにしました。
夫は「誤解されてもしょうがないし、あの二人は君が大変そうに見えたから助太刀してあげたかったんじゃない？」と言っていました。でも私としては折角の旅行の楽しい気分が一瞬で壊れてしまって悲しかったです。
夫の性格を考えるともう外で飲みたいとは言わないでしょうから細やかな楽しみを奪われてしまって可哀想でなりません。
子連れが外でお酒を飲んでいたら引きますか？
私は事情も知らずに勝手に口出ししてくる人にモヤモヤが止まりません。