「周りは気にしてませんよ！」という意見を言う側ですが、厳密に言うと、たとえば少しオタクっぽい言動をしていれば、周りの人から「あいつオタクだなー」って目で見られたり、一瞬「きもっ」て思われることはあると思います。
しかし、他人から一瞬オタクと思われたりキモいと思われてもどうせ相手はすぐ忘れるし、関係ない人ならどうでもいいです。そう言う意味で、「周りは気にしてない」って思ってます。
もちろん迷惑行為は賛成しません。
また自分は学生時代からリアルのコミュニティではオタクの友達はいないので、自分の感性がオタクに染まっているとも思いません。
パンピはオタクほど「オタク臭い」という行動に敏感ではないと思います。オタクや元オタクが一番気にしてる。

行為のレベルとTPOにもよるなと思います
例えばファミレスで大声でエロBL同人誌を広げる、エロい内容の萌え語りを大声でする、と言った行為はNGだと思いますが、ファミレスでぬいぐるみを出して写真撮影をする程度なら、正直誰も気にしないと言うか…
通りすがりに見て「変な人」と思う人はいたとしても別に迷惑行為じゃないですよね（私自身はぬいは嫌いです）
なんかオタクだからどうこうじゃなくて、それが常識的に考えて迷惑な行為かどうかであって、オタク行為でこれはどうとかあれはどうとか、価値観が云々とかって話ではないと思ってます
例えば電車の中で騒いでたら小学生だろうか大人だろうが関係なく迷惑ですし
普通に二次元のグッズを持っていたりそういう話をしている人を見るだけで「キモっ」と思う人がいたとして、その人たちに配慮しなきゃいけない理由もよく分からないですし…

オタク云々関係なく見てる人は結構しっかりと他人を見てます。見てないよ〜と言う人はきっと自分も見てない部類の人間なんでしょうが見る人間がいるのを知った方が良い。
自分と違う違和感を感じると人は目で追ってしまいます（箸の持ち方が悪い人がいるとか、着物の合わせが逆だとか）
逆に自分が普段見慣れてるものや関心があるものも目で追います（同じ服を持ってるとか、鞄がどこそこのブランドだとか）
BL同人誌なんて一般人には分からないかもしれないが、テーブルに本という違和感で視線は行くしその一瞬でヤバい表紙や中身がチラ見えしたら最悪。
他人の会話なんて意識しなきゃ聞こえないかもしれないが、ふと知ってる単語が聞こえてきて意識を向けたらエロトークとかあり得る。
だから、誰も気にしてないことはないしそういう違和感や既視感は意識を向けられる事を知っておくべきだとは思う。
周りが幾ら嫌な思いしても気にならない。盗み見、盗み聞きする方が悪いと思うなら別だが、誰も見てない聞いてない。だから大丈夫は間違いかなと思います。

迷惑行為はもちろんダメとして、それ以外は場所と人、やっている人の年齢によると思います。

池袋・秋葉原・渋谷・新宿などは多種多様な人がいるので、周囲が何をしていても気にしない人は多いでしょう。一方で、住宅街やビジネス街、地方でオタク特有の行動をとっていたら普通に目立ちます。
その辺は場の空気というものなので、普段の行動範囲によって認識が変わってくると思います。

そして上の方のおっしゃるように、人にもよります。どっちがいい悪いではなくて、他人をよく見ている人もいれば見ていない人もいるのが客観的事実だと思います。スマホをよく見る人は周囲に関心が向かない、という感じで。
自分基準で考える人が多いので「そんなに周りは自分のことを見ていない（だって自分が見ないから）」とか「いや見ている（だって自分が見ているから）」というのは水掛け論ですね。

あと高校生くらいまでは、たいていのことは「子どもが何かやってるな」でスルーされると思います。

なので一概に「自分達の行動なんて周りの人は気にしない」というのも極端だし、逆に「オタク特有の行動は皆に見られている」というのも極端だと感じます。

その上で「おかしいと思われようが迷惑行為じゃないんだから私は気にしない」と考えるのか、「おかしいと思われるから私はやめよう」と思うのかはまた別問題だと思います。人それぞれなので正解はないかと。長文失礼しました。

どちらかと言えばオタクの行動を見られている・見られていないよりも、周りに迷惑な行動をしているオタク(上であったように公共の場にて大声ではばかれる内容を話す、同人誌や不衛生なぬいぐるみをテーブルに広げる等)を一般人が見た時にオタク=マナーがなっていないに変換されるのが問題なのかなと…。
一般人からしたらオタクのひとかたまりでマナーが悪いオタク良いオタクなんて判断出来ませんから。
オタクの中でも○○ジャンルは治安が悪いって認識があったりして避けたりしますし、自分がその○○に属しているなら一緒にしないでくれと思いますしね。
十数年前ならオタク=犯罪者という認識も一般人の中であり、肩身の狭い思いもした人も居ると思います。
誰の迷惑にもなっていないと言う人もいますけど、何か話題になる時にどうしても一緒にまとめられるので今後の活動の為にも印象を下げたくないというのが本音です。