>>向こうの言う「住所」とは過去に交換したアドレスの記録を消さずに持っていた
「アドレスの記録」って表現がよく分からなかったんですが、トピ主さんの住所を把握されてる、ってことですか？
やってしまうと刑事事件ものであることばかりですが、相手がとんでもない人だとやらかしてくることはありますね。
　
・イタズラ郵便
差出人なしの封筒で変なものを送ってくる、なんて話があります。
恨み辛みが書かれた手紙だったり、虫の死骸だったり、カッター刃や針などの危険物だったり。
送られた時点で警察に相談するレベルの事案ですけどね。
他にも、着払いで通販商品が送られてくるとか、どう考えても家の中で邪魔になる巨大ぬいぐるみが送られてくるとか。
有名なのだと2mほどの大きな三角コーンが送りつけられる話とかですかね。
　　
・住所さらし
某匿名掲示板などに書き込む。
同人関係でなくても「恋人募集中！会いに来て！住所」だとか「いま炎上してる人の住所特定したから晒しとく！」とか。
実際に近所の方の本名と住所が電波な書き込みで晒されてて、なんかやらかしたか巻き込まれたんだなーというのを何度か見てます。
情報を削除するようサイト側に手続きしたり、転載などされた場合はgoogleから検索ヒットしないよう申請したりと面倒が多いです。
住所と共にありもしない事実や不名誉なことが書かれてれば名誉毀損や損害賠償請求の対象です、弁護士に相談を。
　　
・突撃訪問
Youtuberとか炎上した人に多い話ですけどね。
家の前で叫ばれたりピンポンダッシュされたり壁に落書きされるなどの迷惑行為をされるとか、先日は家先にロケット花火を仕掛けるなど放火まがいの事件もありました。
帰宅するところを写真に撮られて顔特定、更にはその写真をウェブ上に晒されるなども考えられます。
　　
・住所を使われる
名義貸しと違って本人確認や口座情報とは結びついてないので、勝手にクレカ作られるとか口座開設されるとかまではないと思います。
アンケートに他人の住所を勝手に書く、悪徳業者が所在地に勝手に他人の住所を使う、キャンペーンの申し込みや新規契約で住所が勝手に使われる。
あってもこんな感じでしょうか。
偽ブランド品を扱ってるヤフオク業者に住所・電話番号を勝手に使われた結果、クレーム電話がよく来るようになった人の話とかはあります。
　
　
結局、相手がどこまでやるか分からないし、脅し文句だけで何も出来ない可能性だってあります。
住所握られた側はビクビクするし、相手が一線を超えてきた場合には警察の対応でも間に合わないなんてこともあります。
そんなこともあるので、住所は信用できる人にしか渡さない、ヤバそうな人とは関わらない、これに尽きます。
まぁ大抵は「信用できると思ったらヤバい人だった」ってパターンなので、気をつけててもダメな時もありますけど。

「アドレス」がお家の住所なのか、メールアドレスなのかで危険度は変わりますが、お家のご住所ってことですかね……？

オープンな場でそのようなことを告げるのは脅迫にあたるかも？と思いました。

リスクについては上記で出尽くした気がしますので、私なら……って対策についてコメントしておきます。

1️⃣お相手に住所の破棄を依頼する
2️⃣そういうことを言った(ツイートとかですか？)画面を日付など分かる状態でスクショと録画する
※私的なやりとりであっても、誹謗中傷は誹謗中傷です。DMなどもスクショした方が良いかなと。
3️⃣相手の対応次第ですが、不審なことがあれば真っ先にその人を疑う(し、何ならその旨もハッキリ当人に伝える。抑止する)
4️⃣無料の法テラスとかで上記トラブルについて相談
5️⃣同居人がいるなら、上記トラブルについて共有

労力がかかりますが、大きなトラブルになる前に徹底的にやってしまいます。
どこまでやるかはお相手次第です(一時の感情で暴れるだけの方もいれば、本当にやばい人も中にはいるので)

引っ越しできない状況とかだと非常に厄介ですよね。

何事も無ければ良いのですが、匿名サービスではなく、信頼できる第三者にご相談した方がよろしいかと思います。

脅迫に値するのでまずは警察署で被害届を出してみては？ そのときに演技でも良いので「家に突撃されて襲われるかもしれず、とても怖い。殺人事件に巻き込まれるかもしれないと思うと不安で不安で夜が辛い」みたいに、【恐怖を感じている】のを強調すると良いです。

相手があなたを起訴してるわけでもないのに弁護士に依頼すると、当然お金がかかります。あなたが勝っても相手が慰謝料他を踏み倒したり逃亡したら泣き寝入りです。

でも警察に被害届を出すのは無料ですし、もし捜査が進んで立件されたら相手には刑事罪が下って前科が付きます。当然、対人トラブルで困るのは弁護士関係よりもこっちです。
まあ暴力行為とかには発展していないですしTwitter(?)を経由してるので警察の捜査が進む可能性は低いですが、相手から脅されているだけの現状では被害届を出すのが一番今のあなたにメリットのあることだと思います。

損をしても良いからどうしても相手に一泡吹かせたい！！！というときは弁護士に依頼するしかないでしょうが、この内容だと結構厳しいかな、とも思います。