「あなたと会う時は家庭のことは忘れてオタクとしての時間を楽しみたい」とかはどうでしょう？
でも子供って置いて出かけられない事情もあるし難しいですよね…

「子供も難しい年頃で…」とか言っておけば親御さん同士だけで会ったり遊んだりもしやすいんじゃないですかね。

私も小学生の頃、親同士が友達で旅行や遊びに行ったりして子供同士仲良くねみたいなことを言われてましたが、噛み付いてくるような子だったので流石にもう会いたくないと親に相談したら、以来子連れではなく親同士だけで遊んだり食事に出掛けるようになりました。

時節柄なるべく接触機会を減らしたいので行きませんでいいと思いますよ。
というか仲がどうの以前に今そんな提案する人非常識すぎます…。