最初から輪が出来上がっていたわけでもありません。
気になるグループの様子を確認して、比較的あとから入ってきた人がいないか、その方の入り方を参考にしてみると良いと思います。
トピ主さんは小説書きのようなので、同じく小説を書いている方を参考にすると良いと思います。
小説を読まない読みたくないと考えている同人者もいます。
たとえ身内の小説を読んでいても、小説書きは既存の交流以外増やしたくないと考えている方もいらっしゃるので……
もちろんそれは一部ですし、イラストでも絵柄で避けられるということがあるようですし、小説だからというわけでもないそうなのであしからず。
話は脱線しましたが、今から全員と友達になるのは無理でも、友達になってくれる人は必ずいるはずです
うまくいくように応援しています！

寂しいお気持ち文面からなんとなく伝わってきます。
良い方向に行くといいですね…

少し視点を変えて、逆の立場から考えてみてはどうでしょうか。
仮に、トピ主さんがその羨ましく思われている立場側の人だったとして。
親しいお友達がすでに何人もいて、和気あいあいと萌え語りができて何の不満もない環境にあったとして。
新しくジャンルに参入してきた人がどんな人だったら追加でお友達になりたいと思うでしょうか。

ここからは自分の想像になっちゃいますが、遠巻きに指をくわえて受け身で見ている人よりも、
・自分が過去に作った古い作品に積極的に感想をくれる
・それまでジャンルになかったような新しい切り口の作品を作っている
・既にいる人にはない新鮮な喜びでキャラを愛し二次創作を楽しんでいる
・(ちょっと即物的ですが)ジャンルの先輩をさりげなく立てつつ、衝突しないで楽しい話題を提供してくれる
他にもあるかもしれませんが、概ねこういう感じになるのかなと思います…
寂しいお気持ちもすごくあると思いますが、トピ主さん自身がジャンルを楽しむことが結局のところ近道なのかもしれません。
新しい切り口というのも無理に作る必要はなくて、トピ主さんが自分の心に正直にのびのび作るものがやがてそうなってくるのだとおもいます。(抽象的ですみません)

あとは、ツイッターのフォローを返してもらえない件ですが、自分の場合は複数ジャンルの話題が入り交じるアカウントさんだとフォローを返しづらいというのはちょっとあります。(知らないジャンルの話題でTLが埋まってしまうのを避けたいため)
もしトピ主さんがそういうアカウントでしたらそういう理由はあるかもしれません…。(そうじゃなかったらすみません)

あとは、TLで目立つ交流をしていない人でも、トピ主さんと気が合う人はどこかにいるんじゃないかなと思います。あまり無理せず、今見えているものだけにとらわれずに気長にやれるといいかなと思います！