どのような選択肢があって怖いがほぼ半数(?)を超えたのかはわかりませんが（また、身バレ防止で言えないと思うので大丈夫です）

どちらかと言うととっつきにくいとかそういう感じなのではないでしょうか。
どんなに明るい事を話していても、交流をあまりしていないだと高嶺の花と言いますか…ちょっと恐れ多さを感じると思います。
それが選択肢の中で一番感情として近い"怖い"になったのではないでしょうか？

自分なら人間性で「怖い」と感じるとすれば悪口ばかり、二面性を感じる、周囲に配慮しない過激発言をする方ですね…。距離なし交流をしてくるとかでもなければ行動力がある方はすごいとは思えど怖くは感じないです。
トピ主さんはそのあたり気をつけておられるようですし、上の方がおっしゃっておられるように、とっつきづらいというニュアンスかと思います。
もしくは萌え語りが高度すぎて傍目に理解不能だったり、作風が滅茶苦茶シュールとか、ホラー風味があるとかだと「怖い」という印象になるしれませんが……。本当に苦手だったらフォローされないと思うので、そこまで気に病むことはないと思います。