聞くだけで参加してはダメですか？
声が出せないからスピーカーにならない人は沢山いますよ。
人の語りなんて聞きたくないのであれば残念ながら交流の優先度は下がってしまうかもですね。

うまく聞き上手になれると楽しいですよ！
聞き上手といってもスペースに入るのではなく、現場で会ったり個別で通話したりするときの話です。
「えっそんな話があったんですか！？」「詳しく伺っても？！」「やっぱり◯◯さんおもしろすぎるー」などなど、ポジティブな姿勢でスペースで話していたことについて聞いて盛り上がれたら何も問題ないです。

スペースってあんまり影響力ないよ。結局作品が愛されてるかどうかだよ。
スペースによく参加する人でもピコだと何度会っても「えっと誰だっけ」ってなるし、スペースに全然参加しなくても神はどこ行ってもちやほやされる。
スペース盛り上がった感はその時はあるけど、あんまり長続きしない。結局作品。

通話で仲良くなるって交流ツールとしてはものすごく強いので、実際にオフで会ったら仲良しは仲良しの空気ができていて入れない可能性は充分にあります。
いい大人なら多少は気を使って貰えると思いますが、アフェー感は否めないかと思います。
除け者というか攻撃対象になることはないと思います。居ない人って良くも悪くも空気なので、話題になることすらないです。

よく会話してる人同士がより仲良くなるし、それは現場でも影響する。当たり前だよ人間同士の交流なんだから。
除け者になるってのは相手の性格次第だけど余程変な人の集まりでなければ、露骨に邪険にされることはないでしょ。普通に仲良しメンツの中に仲良しじゃない自分が混ざって、トピ主の性格によってはアウェー感辛ってなるかもしれないけどね。そんなんスペースとか関係なく当たり前のこと。