私「あなたが下手だから…不倫して補ってる」旦那「なら続けていいよ(泣」→堂々と不倫してるんだけど問題発生

ばれたときにもそれが言いづらく、なんとか誤魔化そうとしたのですが最終的には
「あなたが下手だから、そっちでも補っている」
という風な事を伝えました。そのときは結構泣かれたのですが、最終的には謝ってもらえて、そういうことなら続けていいよという言質もとりました。
そういうことで隠す必要もなくなり、金曜日の昼から浮気相手の元彼のところに泊まって土曜日の夕方くらいまで一緒に過ごしています。

日曜日はデートなんかにも行ったりするのですが、夜に旦那にも一応誘うと
「ごめん、なんだかもうそんな気になれない」
と基本的に拒否されてしまいます。別に旦那のことも嫌いになったわけでもなく、むしろ好きなので、なんとか前のように接して欲しいです。

普段も基本的には取り乱したりすることはないのですが、1週間に2回くらい取り乱して泣いてしまったりするので、そちらもあわせて何とかしたいです。
30歳も近づいてきて子供も欲しくなってきました。
どういう風に旦那に接すれば良いでしょうか？お願いします。