Josip i Marija doveli su Isusa iz Egipta u Nazaret kad je vjerojatno imao oko dvije godine. Tada im je očito on još uvijek bio jedino dijete. No s vremenom su se rodila i njegova polubraća — Jakov, Josip, Šimun i Juda — te polusestre. Isus je, prema tome, imao najmanje šestero mlađe braće i sestara.

Josip je Isusa poučavao svom zanatu i on ga je dobro izučio. Stoga nije čudo što su ga ljudi kasnije zvali tesarom.