寛政三年（1791）五月に庭瀬の松林寺で開催された雅宴に招待され、釧雲水、淵上旭江、長町竹石らが合作した「山館読書図」に求められて七言絶句一首を賛し琴を弾じて参会者から絶賛の拍手を受けた。同年九月には求められて斉藤一興著の「九宛斉韻譜」のために序文を書いた。

　寛政四年（1792）七月八日、玉堂48才のとき最愛の妻安が病没した。
＜思えば、姑の茂に口答えしていさかいを起こすこともなく、常に物静かな態度で従順に仕えてくれた。使用人達にもよく慕われて、家事育児のきりもりにも筋を通していた。家事の合間に嗜んだのは大和風の和歌や和琴であったが、その発声にはえも言われぬ品格があった。身だしなみは常に清潔でよく整っていた。二年も患ったが病床にあるときでも身だしなみを乱すことはなかった。いよいよ最後だとわかるとせがんで箏を弾いた。弾き終わるとそれが別れの挨拶だったかのように安らかな顔をして旅立って行った。本当に良妻賢母の典型だった＞
と野辺の送りを済ませて帰ってきた玉堂は、独り新しい位牌に向かって手を合わせ、妻の在りし日の面影を偲ぶのであった。

　妻安の墓碑にはその人と為を大原翼の撰で次のように印刻されている。
「・・・・人となり寡言貞静、姿儀端麗、能く婢僕を愛し、家政倫（みち）あり、旁ら圀風（こくふう）を好み吟ずるところみな韻あり、罹病二祀（二年）未だかつて、一日も褥に臥すも漱梳（そうそ。口をすすぎ髪をくしけずる）を廃せず・・・・箏（十三弦の和琴）を鼓し歌詠しおわりて偃然（えんぜん。やすらかに）として逝く。婦にして敏捷その徳を捐（あたえ）る、敏にして慎重は古の則・・・」

　玉堂琴士集後編には安女の死に関して次のような詩が収録されている。

　　夜雨書感
　　新鼓荘盆独抱憂　長嗟人事逝如流
　　旧来親友曽黄土　夜雨灯前涙不収

　　　新に荘盆を鼓して独り憂を抱く
　　　長く嗟（なげ）く　人事の逝く流れの如きを
　　　旧来の親友はかつて黄土
　　　夜雨灯前（やうとうぜん）　涙収まらず

　今、盆を鼓ちつつこのうえもない悲しみの中にいる。孔子が逝くものはかくの如くか昼夜をおかずと言ったがまさに逝く川の流れの悲しさがある。もはや帰らぬ人となってしまった。今夜屋外は雨で、私は灯火の下でただ涙を流しているのである。

　36年間苦しいにつけ嬉しいにつけ、影のように付き添ってきた妻の逝去は人生の無常を感じさせ、藩政からの疎外感ともあいまって寂しさが心にしみわたるのであった。と同時に脱藩の意志がますます固まっていくのをどうしようもなかった。

＜自分の信奉する価値観が受け入れられないのなら、そんな所に何時までも義理立てする必要もなかろう。人生五十年とも言うし、五十才になったらけじめをつけよう。ちょうどそれは、妻の三回忌の年にあたる筈だ。その年から別の世界で生きるのだ。その年まで耐えていこう。せめてそれまでは慣れ親しみ、苦楽を共にしたこの家で供養してやらなければ仏も浮かばれまい。　世間では儂の最近の振る舞いをとやかく言っているようだがもう少しの辛抱だ。今の勤めは世を忍ぶ仮の姿なのだと自分に言い聞かせて辛抱しよう＞
と毎朝仏壇に向かうとき玉堂は思うのであった。