आपके पिता श्रधेय श्री राम उग्रह सिंह बहुत ही उग्र स्वाभाव के व्यक्ति थे। वे करीब छह फुट लम्बा और रंग गेहुआ था। वे शारीरिक रूप से काफी मजबूत और काफी ताकतवर व्यक्ति थे। वे तीन लोग से उठ सकने वाले बोझों और बोरियों को अकेले उठा लेते थे। खाना खाते वक्त दस लीटर वाला बाल्टी पानी भरा पास में रखते थे। उनकी गर्जना गाँव से खेत (करीब दो किमी) तक सुनाई देती थी। आप बताते थे कि एक बार भुसौला दानापुर में एक होटल में खाने बैठे और भर पेट रेट पर खाने की बात हुई। वो खाते-खाते होटल का पूरा खाना खा गये अंत में मेनेजर हाथ जोड़ कर माफ़ी माँगने लगा। वो बहुत ही कर्मठ व्यक्ति थे जो संयुक्त परिवार के हिमायती थे। जीवन भर खेतों में कमाते रहे लेकिन कभी अपने बेटे की पढाई के लिए पैसों की मांग नही की। एक बार की बात है आपके बाबूजी रबी का दौड़ी कर रहे थे, और आप भी उनका हाथ बटा रहे थे।
उसी समय आपने बाबूजी से कहा कि सबलोग अपने बच्चो पर कितना ध्यान देते हैं और आप हमसे दौड़ी कराते रहते हैं, पढाई करने के लिए समय हीं नही मिलता। इतना सुनते हीं गुस्से में आपके पिता जी ने अपने हाथ में पकड़ी लाठी आप पर चला दिए आप किसी तरह आप उनके वार को अपने डंडे से काट दिए और वहाँ से भाग खड़े हुए। अमरपुरा के दक्षिणी भाग में खलिहान में पहलवानी अखाड़ा बना था जिसमे बच्चे बड़े सभी कुश्ती का अभ्यास किया करते थे। श्रधेय श्री दरबारी खलीफा के बाद श्रद्धेय बाला खलीफा, श्रधेय श्री राम खलीफा, श्रधेय श्री झपसी महतो, श्रधेय श्री बदरी महतो इत्यादि मुख्य पहलवान थे। बाद की पीढ़ी में आप के अलावा श्री निर्मल सिंह, श्री राजनधारी सिंह इत्यादि कुश्ती लड़ा करते थे।
आपके पिताजी की मृत्यु 85 वर्ष की आयु में 1989 में हुई।
आपके माता जी श्रद्धेया श्रीमती मुन्गेश्वरी देवी, आपके पिता के अपेक्षा बहुत कम ऊंचाई करीब साढ़े चार फुट की थी, वो सांवली सी परन्तु आकर्षक स्त्री थी। वह सीधी साधी पतिव्रता महिला थी जो घर के कामों से लेकर खेत खलिहान तक के सभी कामों में निपुण थी। वे पढ़ी लिखी नही थीं लेकिन पढाई का महत्व समझती थीं इसलिए नरेश बाबू को पढने के लिए हमेशा प्रेरित करती रहती थीं । वह भोर में ही लालटेन जला कर नरेश बाबू को पढने बिठा देती थी। आप भी उनकी आज्ञा का
पालन करते थे, आप रात में पढ़ते समय मच्छर से बचने के लिए अपने पैरों में ‘टाट’ (बोरिया) पैजामे की तरह पहन लिया करते थे. श्रद्धेय श्री शीतल प्रसाद के लख पर बसने के बाद घर की मालकिन आपकी छोटी चाची श्रधेया श्रीमती महेश्वरी देवी थीं, वही घर का हिसाब किताब रखती थीं । कभी कभी छोटी मोटी सुविधाओं को लेकर आपकी माँ और छोटी चाची में बहस हो जाया करती थी, मांगें पूरी न होने पर आपकी माँ रो-धो के चुप हो जाती थी परन्तु कभी बटवारा करने के लिए नहीं बोली ।
श्रधेय श्री राम उग्रह सिंह का अपने भाइयों से बहुत प्रेम था, इसका प्रमाण इससे मिलता है कि उम्र ढलने के बाद भी जब कभी उनके बड़े भाई श्रधेय श्री भीखम महतो बेला से अमरपुरा आते तो ये उनका बहुत ख्याल रखते थे। तीनों भाइयो के प्रेम का ही नतीजा था कि जब तक उनके बाँहों में बल था घर के बटवारे के बारे में किसी ने नहीं कहा, परन्तु इनके कमजोर होने पर इनके बेटे, पोतों और बहुओं में मेल मिलाप ख़त्म होने लगा और अंततः 1983 में यह बड़ा परिवार अनेक टुकड़ों में बंट गया। बटवारे के चक्कर में आपको कोर्ट कचहरी का चक्कर भी लगाना पड़ा, क्योंकि जौरागी के खरीददारी वाली जमीन के बंटवारे में विवाद था। बाद में कोर्ट ने 1985 में फैसला दिया कि सभी जमीन का एक तिहाई बटवारा किया जायेगा। किन्तु बाद में आपसी बैठक से ही सभी सम्पत्ति का बटवारा किया गया। आपको संयुक्त परिवार से इतना लगाव था कि बटवारे के बाद भी करीब दो सालों तक आप श्रधेय श्री राजाराम सिंह के परिवार के साथ ही मिलजुलकर रहे, आँगन में बटवारे की दीवार भी काफी दिनों के बाद बना। आपकी माताजी आपके रिटायरमेंट के बाद भी आपको बच्चा ही समझती थी, और
छोटी छोटी बातों पर आपको डांटती रहती थी। और आप उसे माँ का आशीर्वाद समझ कर हँसकर टाल दिया करते थे।