「瞬間的な思考」と「冗長性の許容」じゃないでしょうか。
以下持論です。

■瞬間的な思考
会話での判断や思考というのは、かなり瞬発的なものを求められます。
それに対して、文字媒体の思考は次巻敵猶予もあり、かなりゆっくりじっくり考えることが出来たりします。

筋力に持久力・瞬発力の違いがあるように、思考力にも持久力・瞬発力があったりします。
知識や経験が豊富で、かつそれらをアウトプットする頻度が多い人ほど思考の瞬発力は高めです。
ただし、思考に偏りが出やすかったりもします。（いつも話している話で終始してしまう、など）
また思考が完全でないことも多々あります。（例を４つ挙げると言いつつ３つしか思い浮かばない、など）

それに対して、じっくりした思考であれば一般論から例外まで幅広く考慮した思考をするだけの時間的猶予があります。
その時間で脳内の全方位的な検索が得意な人は、偏りが少ない思考やアウトプットが可能になります。

頭の回転を早くするトレーニング方法教えます！
https://youtu.be/W6Es_iD4JYo
この方が述べているように、瞬発的な思考をするには「会話を重ねること」「タイムリミットを設けること」が大事だったりします。
例えばクイズを趣味にしていると、記憶の引き出しを取り出す速さが増します。
知識だけをインプットしても思い出すのに時間がかかる人は、瞬発的な思考が苦手である証拠です。
（年齢で健忘が出ている可能性も勿論ありますが、この場では除外します。）
　
　
■冗長性の許容
端的に言えば、長くても許される。
小説の楽しみ方は人それぞれですが、長い言葉遊びや言い回しのある文体を好む人たちもいます。
それは、物語が結論ではなく過程を楽しむものだったりするからです。

よく、話が長くて嫌われる人というのは、結論を言わずにダラダラと過程の話ばかりする人です。
それは「結論を求める会話」では不向きなアウトプットと言えます。
もちろん、お互い聞き上手な主婦同志の会話であれば「過程」の話が長くても互いに楽しめることもあります。
しかし、「会話」の多くは「オチ」や「結論」がなるべく早くこないと相手がイライラしてしまいます。

「できるのか、できないのか」と訊かれているときに、できない理由とできる理由をそれぞれ挙げていく会話をしても
それは結局「できるのか、できないのか」という結論を最後まで出せていないことになります。
であれば、せめて「できるのか、できないのか、分からない」という結論だけでも先に相手に伝えるべきです。

■まとめ
このように「会話」と「小説」では、時間的猶予が「語る側」も「受ける側」も異なることが、その差の最たる要因かなと考えます。