Rutger Nilsson föddes och växte upp på Kåröds säteri. Sjutton år gammal får han en son, Josef. Han erkände barnet men gifte sig aldrig med barnets moder. När han var 20 år gammal gifte han sig med den 5 år äldre Maria Nilsdotter. Paret bosatte sig på torpet Kalfhagen under Kåröd säteri. Tillsammans fick de 11 barn.

Rutger, och en dotter, avled av kolera 1834.