成人しても、勉強に精進するだけで、 近所の人とのつき合いはほとんどしませんでした。
一室に閉じこもったきりの、読み書きの毎日でした。
知名度のなかった当時の良寛さんは、 汚（きたな）らしい衣（ころも）を着て、仕事もせず、 ただ子供たちとブラブラ遊びほうける毎日だったので、 いてもいないでもいい存在の人だと 思われていました。
それと同じように 市内もいてもいなくてもどうでもいい昼行灯（ひるあんどん）の ような存在だったので 「あれは、かぢや（鍛冶屋）良寛だ」と、 噂（うわさ）されるようになり バカにされました。