いわゆる古の夢女(腐もOK)ですが、黎明期(2000年前後)から夢はずっと後ろ指をさされてきました。
夢歴の長い方やその世代と交流の多い人ほど、表に出てはいけないという意識が未だに根強く残っているのだと思います。
なかなかにセンシティブな話題なので、理由についてはググって頂いたほうがいいかと思いますが、最近は夢への忌避感も薄れてきているようにも感じます。
単純にジェネレーションギャップもあるかもしれません。今の若い子にとっては生まれたときから夢という文化がこの世に存在していたわけですし。
またトピ主さんのように、外から見たら腐も夢もどちらも変わらないように見える、というのも実際その通りなのだと思います。
ただ、やはりもう長いこと隠れてやってきているので慣習になっていますし、個人的には原作に迷惑をかけないために、腐も夢も良識ある行動をとるべきとは思います。