トピ主と同じような状況から、通話→オフと活動を広げていった側です（活動中にアラフォー→アラフィフになりました）
結果としては良かったことも悪かったこともどちらも経験したので、なんとなく自分の活動スタンスが決められたかなという感じでした

良かったこと→
オフに出ても全く知らない人だけじゃなくなった（隣になったら挨拶以外でそこそこ話ができる）
イベント前に人に会うための準備をするモチベーションができた（美容院・ダイエット等）
同じ既婚子持ちの方と新たに繋がりができた（ジャンルの年齢層が広かったので年が近そうな人もいた）

悪かったこと→
容姿への劣等感が強くなった（アラフォーでも綺麗な人はいっぱいいた）
すでにグループができていて深いお付き合いができそうな人はいない
自分がイベントに出られない時の寂しさとか疎外感がすごい
実際に会って苦手になった人がいた（人柄と創作が切り離せなかった）

良いこと悪いことを踏まえて「活動はするけどあまり深入りしない」という自制ができるようになりました
長寿ジャンルで人の出入りもわりとあるし、自分が頑張らないといけないわけでもありませんでした
一度飛び込んでみて痛い目にもあって悟ったというか腹落ちしたというか…
これからはほど良い距離感で無理のない範囲で活動しようと思います

> 界隈の相互の方々がオフ会場やアフターで盛り上がったり、集まって遊んだり旅行したりしているのを見ると、
世間話だけでほんとは楽しくなかったとか、正直行ったのを後悔した、なんてみんな公の場では書かないんだから、そりゃ楽しく盛り上がったように見えるよ

創作が主で交流はサブなのか、交流が主で創作がサブなのか、どっちが自分にとってメインなのかを考えれば答えはおのずと出るのでは
仲良くなりたい気持ちがやっぱり強いなら、オフや通話以外にも文字ベースの交流方法がたくさんあるんだから、そっちを頑張ればいいんじゃないかな
トピ主のタイプは「輪に入る」ことより、マイペースに一人一人と仲良くした方が長続きしそうだなと思う

私も最初はオフ楽しそうだなと眺めていたのですが、オフに積極的なフォロワーと数年繋がっていて考え方が変わりました。
オフに積極的な人ほどオタクの繋がりしか持てないみたいなんです。アイデンティティがオタクである事になってしまっているらしく、集団で同じジャンルを履修し、集団でハマり、集団で移動しています。
それが好きだからオタクになるのではなく、オタクでないと他者と繋がる手段がない、楽しむ方法が分からないから、手段としてジャンルを好きになるみたいです。
創作するのもオタク友達が欲しいから、そのためには創作するのが手っ取り早いからと言っているフォロワーもいます。
彼ら、彼女らは常にオタクとして狂っていないと物足りないようで、なんだか中毒患者を見ているようでした。

そうでない方も多いのはわかっていますが、オフ等で過度に楽しそうに振る舞っている人はSNS上でキラキラしているオタクを演出していて、実際のところ当人は人付き合いの仕方が相当に歪んでいる場合もあります。
これは何年も繋がってみて分かる歪みなので、一見とても楽しそうで羨ましいと感じるのは仕方ないかもしれないです。トピ主さんも頻繁にオフ会で楽しそうにしているフォロワーを年単位で見ていると、何かおかしい事に気づくかもしれません。

オフ会を美化し過ぎだと思います。
かくいう私も昔トピ主のようにオフ会に憧れて参加したことがあるのですが、思ったよりジャンルの話もできなかったし、話しかけたり質問しても盛り上がらない会話広がらない……やっと話ができると思いきや相手のマシンガントークに体力と精神力を削られたり、既に仲良しグループが出来ていて入る隙がない……散々でした。
それでも付き合いのためにTL上では楽しく振る舞っていたのですが、ある日限界が来て結局Ｘを削除してしまいました。
こんな人もいるので参考に。

トピ主は結婚もしてるしお子さんもいらっしゃるのですから、そっちを大切にした方がいいと思います。
オタク友達は相性のいい方でもない限り疲れる事が多いですし、結局は赤の他人なので。
今後の人生を考えたら家族と仲良くするのが一番です。

日中は見られず遅くなってすみません、みなさんご回答ありがとうございました。
思っていたよりたくさんの方が回答してくださってびっくりしてます。どのコメントも深く頷きながら読ませていただきました。
私と同じように感じている方がいることも心強く感じましたし、割り切って考えている方の心の持ちようもとても参考になりました。
オフ会を実際に経験してみてのアドバイスも大変ありがたいです。確かに、見えている部分はただキラキラと楽しそうに見えますが、何かしら我慢とか気遣いとか努力とか、そういうものがあるのでしょうね。
そして、参加してみたはみたで、後からもっとこうしとけばとか参加しない方が良かったとか悩むというコメントに、私も絶対そうなるだろうな……と思ったので、今後もひっそりとマイペースに活動していく決意を新たにしました。

寂しいと感じることを肯定してくださった方がいたことも嬉しいです。そのうえで、みなさんの意見を参考に、今のこの状態が一番いいんだなと落ち着いて見つめ直せた気がします。
ありがとうございました！