寛政六年（1794）四月二十一日城崎より出した脱藩届けが岡山へ届いた。
　斉藤一興の書いた「池田家履歴略記」にはこの間の事情が次のように記録されている。　　　　　　　　
「池田信濃守家士浦上兵右衛門、同紀一郎・紀二郎、父子三人同道して、但州城崎の温泉に浴しけるが、彼地にて一分立ちがたき子細出来ぬとて、彼地より直に出奔せしよし書付を以て岡山に達しける。此書付四月二十一日到来せり、此兵右衛門、性質隠逸を好み、常に書画を翫び、琴を弾じ、詩を賦し、雅客を迎え、世俗のまじらひを謝し、只好事にのみ耽りければ、勤仕も心に任せずなり行き、終には仕をやむべきと思ひ定めしふるまひ、何ともなく形にあらはれ、人々いかがと思ひ居りけるが、今度出奔せしにて思ひ合わせし、城崎にて身のたたぬこと出来しといふは言をかまへたるにて、実は家を出しよりかく成るべき積もりにてぞありける」

　この文章からは同僚達にとって玉堂の脱藩は予測できた行動であり深刻には受け止められていないことが読みとれる。

　ところで玉堂の著作として二冊の漢詩集が現在に残されており、「玉堂琴士集」と称されている。前集と後集とがあり前集には六十一首、後集には七十八首の漢詩が収録されている。後集には刊行の年代が記されていないが、前集には甲寅年刊との記載があり寛政六年に讃岐で刊行されたことが判る。この前集に皆川淇園が四月九日付けの序文を書いているのでこの詩集には玉堂が城崎から脱藩状を岡山へ送りつける以前に作られた詩が搭載されていることになる。

　この詩集から何首か拾いだして玉堂の心境を追ってみることとしたい。

　　　磊萱生涯寄酔吟　劣能学得古般音
　　　到頭祉咲吾痴着　無一詩中不説琴

　　　　　らしょたる生涯酔吟に寄す。
　　　　　劣（わずか）に能く学び得たり古般の音。
　　　　　到頭祉（ただ）咲（わら）う吾が痴着を。
　　　　　一詩として中に琴を説かざるなし。

　あまりぱっとしない自分の生涯は、ただひたすら酔っては歌うことであった。
多少なりとも学び得たものと言えば古風なしらべだけである。
結局は自分の愚かさかげんをあざ笑うだけだ。
ただひたすらに琴の世界に耽り、詩を作れば何時も琴のことばかりを主題にしている。

　　　病中寓嘆
　　　病来愁白髪　夢断欲三更
　　　紙窓残月入　梧井宿鴉驚
　　　旧書展不続　宿志遂無成
　　　富貴何須問　痴愚畢此生

　　　　　病み来たって白髪を愁う。
　　　　　夢断たれて三更ならんと欲す。
　　　　　紙窓残月入り梧井（ごせい）宿鴉（しゅくあ）驚く。
　　　　　旧書展（ひらい）て読まず。
　　　　　宿志遂に成る無し。
　　　　　富貴何ぞ問うことを須（もち）いん。
　　　　　痴愚もて此の生を畢（おわ）らん。

　病床に臥して以来すっかり白髪が増えたしまった。夢が断たれて目覚めると真夜中だった。明かり障子からは残月の光が差し込んでいるなあと気がついた時、井戸端の青桐に止まって寝ていた鴉（からす）が何かの気配で騒ぎだした。寝つかれないままに愛読書を開いてみたが読む気がおこらない。ずうっと抱き続けてきた志も遂に成就できなかった。財産や地位など問題にすることもなかろう。自分は愚か者のままで一生を終わることだろうな。

　　　衰老身宜甘数奇　那論挙世笑吾痴
　　　春来聊有清忙事　唯是花開花落時

　　　　　衰老の身は宜しく数奇に甘んずべし。
　　　　　那（なん）ぞ論ぜん挙世吾が痴を笑うを。
　　　　　春来聊（いささ）か清忙の事あり。
　　　　　唯（ただ）是れ花開き花落つる時。

　年老いて体力の衰えた身では不遇の境遇に甘んじておくことを潔しとしよう。世間の人はこぞって私の愚かさを笑うであろうがそんなことは問題にすることではない。それよりも春になってからはいささか俗事に関わりのないことで忙しい。花が開き花が落ちるのを追っているだけで精一杯なのだ。