少しでもトピ主のことを良いと思ってなかったらお誘いを断ると思うから気にしないで良いと思う。
私は話しててノリがあって楽しければ会いたいし会っても良いかな〜って思う。
好きなものが一緒だからって仲良くなれるわけでもないし、趣味で繋がって仲良い人は話していて落ち着くとか一緒に居て楽しいとかそんな理由で会ったりするよ。

先方は先方で、OKしてるんだから、トピ主さんの傾向は理解しててだと思う。
気になるなら、話題振る時に相手のカプとかメインキャラメインで振る、こっちからも喋るけど相手の話を聞く方に重点を置けば、少なくとも相手は楽しんでくれると思うよ。

因みに関係性としては、頻度は低めでも、気軽にリプしたりDM出来るなら、ご飯くらいなら間が持つから、誘われたら行くよー。トピ主さんのお相手羨ましいな。

その人の性格によるかな…自分だったらそこそこの仲でも、おいしいご飯を食べてお酒を飲んでジャンルの話ができるなら誘いに乗っちゃう。
ただ相手も大人なんだろうし無理強いされて会わないと思う（嫌なら理由つけて断る）からそこは大丈夫かと思います。