डॉ.  बाबासाहेब पहिल्यांदा लोणावळ्यात आले ते ५ एप्रिल १९३६ रोजी. तो काळ त्यांच्या आयुष्यातील अत्यंत दुर्धर काळ होता. एका पाठोपाठ एक अशा चार मुलांचं निधन आणि पत्नी रमाई यांच्या निधनानं ते पुरते कोसळले होते. कोलमडलेल्या संसाराचा आघात त्यांना असह्य झाला होता. त्यातून भयंकर डोकेदुखीचा त्रास सुरू झाला होता. मुंबईतल्या तज्ज्ञ डॉक्‍टरांकडून उपचार घेऊनही डोकेदुखी थांबत नव्हती. तज्ज्ञांच्या सल्ल्यानुसार ते लोणावळ्यातील कैवल्यधाम आश्रमात दाखल झाले. डॉ. बाबासाहेबांच्या लंडनमधील गोलमेज परिषदेच्या भाषणाने प्रभावित झालेल्या व आधीच मित्र बनलेल्या कैवल्यधाम योगाश्रमाचे संस्थापक स्वामी कुवलयानंदांनी त्यांच्यावर निसर्गोपचार केले. तब्बल बारा दिवसांच्या उपचारांनी त्यांची डोकेदुखी पूर्णपणे थांबली. नवसंजीवनी मिळालेले बाबासाहेब पुन्हा कार्यप्रवण झाले. तेव्हापासून या परिसरात ते सतत येत राहिले. १९४२ च्या सुमारास डॉ. बाबासाहेबांनी शंभर एकर परिसरातल्या खंडाळा हॉटेलला भेट दिली. एकदा ते हैदराबादच्या नवाबांबरोबर, तर एकदा छत्रपती शाहू महाराजांबरोबर शाही भोजनास आल्याच्या आठवणी सांगितल्या जातात. यातूनच भागुजीबूवा कापसे, चिंधूभाऊ धोंडिबा माळी, रामचंद्र कांबळे, आबासाहेब कांबळे व बीए ऊर्फ भीमराव जाधव अशा अगणित मंडळींचा बाबासाहेबांशी स्नेहबंध जुळला. पुढे १९४४ मध्ये आचार्य अत्रेंच्या जुना खंडाळ्यातील बंगल्यात एका रात्री ते मुक्कामी राहिले. त्यांनाही या परिसरात जागा घेण्याची तीव्र इच्छा होती. पण जागांच्या अवास्तव किमतींमुळे त्यांना जागा घेणे शक्‍य झाले नाही. 

पुढच्या काळात तळेगाव दाभाडे येथे लिंबाजी व दत्तात्रेय गायकवाड या पिता-पुत्रांच्या मदतीने सुमारे ८७ एकर जागा व जुना बंगला एका पारशी व्यक्तिकडून त्यांनी खरेदी केला. २६ नोव्हेंबर १९४८ रोजी डॉ. बाबासाहेब आंबेडकरांच्या स्वाक्षरीतील दस्तऐवज मावळ तहसीलात नोंदीस आहे. तळेगावच्या बंगल्यात एकूण ४२ वेळा बाबासाहेबांचे येणे झाले. अनेक लढ्यांच्या दिशा त्यांनी येथूनच निश्‍चित केल्या. १९४८ ते १९५४ हा काळ डॉ. बाबासाहेबांच्या क्रांतिपर्वाच्या धकाधकीचा काळ होता. संसदेत मजूर मंत्री व कायदेमंत्री पदाची धुरा, अनेक ग्रंथांची निर्मिती, राज्यघटनेचे प्रारूप, जगभराचा प्रवास आणि घणाघाती केलेली भाषणे यातून त्यांना स्वतःच्या प्रकृतीकडेही लक्ष देता आले नाही. भर संसदेत भाषण करतानाच ते कोसळले. डॉक्‍टरांनी त्यांना सक्तीने विश्रांती घेण्याचा सल्ला दिला. 

मार्च १९५४ च्या सुमारास डॉ. बाबासाहेब हे फ्रिप्रेस जर्नलचे प्रसिद्ध संपादक ए. बी. नायर यांच्या मालकीच्या जुन्या खंडाळ्यातील बंगल्यात विश्रांतीसाठी आले. तब्बल तीन आठवडे त्यांनी विश्रांती घेतली. जगप्रसिद्ध कार्ला लेणीस भेट दिली. या मुक्कामातच त्यांनी ‘हू इज पांडुरंग’ (पांडुरंग कोण होता?) या शोधनिबंधाची आठ पाने लिहून काढली. हजारो कार्यकर्त्यांशी हितगूज केले. या मुक्कामातच देहूरोडच्या शाहीर हरीश चौरे व सहकाऱ्यांनी बांधलेल्या मंदिरात बुद्ध मूर्ती स्थापन करण्याचा निर्णय घेतला. २५ डिसेंबर १९५४ रोजी डॉ. बाबासाहेबांनी स्वहस्ते बसविलेली बुद्ध मूर्ती ही धर्मांतराअगोदर नवी समाज व्यवस्था उभारण्याच्या आत्मभानाचीच प्रतिष्ठापना होती.