કામારપુકુરમાં ગદાઈના ઘર પાસે એક આંબાવાડિયું હતું. અવારનવાર તે સ્થળે રામાયણ અને મહાભારતના પ્રસંગો ગદાઈ અને તેના મિત્રો નાટકરૂપે ભજવતા. ગદાઈનો કંઠ મધુર હતો અને સ્મરણશક્તિ પણ તેજ હતી. ઉત્કટ ભાવ સાથે તે ઘણાં ભક્તિગીતો ગાતો. આંબાવાડિયું તેનાં ગીતોથી છવાઈ જતું હતું.

૧૮૪૩ના વર્ષમાં ક્ષુદીરામનું અવસાન થયું. ગદાધરને તેના પિતા ગુમાવ્યાનું ભારે દુઃખ લાગ્યું. પરંતુ થઈ પણ શું શકે? તેને સમજાયું કે આ દુનિયામાં કશું જ કાયમી નથી. તે ભારે ભીડભાડવાળી જગ્યાએથી દૂર રહેવા ને ધ્યાન કરવા આંબાવાડિયામાં પહોંચી જતો. તેને સાધુસંગ પસંદ હતો, તેમના તરફ પુષ્કળ આદર-સન્માન રાખતો અને તેમની વચ્ચે થતી ચર્ચાઓ ધ્યાનપૂર્વક સાંભળતો. તેઓ ગદાધરની પવિત્રતા અને પ્રામણિકતા જોઈ આશીર્વાદ આપતા.