Måske er Jesus to år gammel da Josef og Maria tager ham med hertil fra Egypten. Det ser ud til at han på det tidspunkt er deres eneste barn. Senere får han nogle halvbrødre – Jakob, Josef, Simon og Judas. Josef og Maria får også døtre, Jesus’ halvsøstre. Han har altså mindst seks yngre brødre og søstre.

Josef må arbejde meget hårdt for at forsørge sin voksende familie. Han er tømrer. Josef opdrager Jesus som var det hans egen søn, så Jesus bliver kaldt “tømrerens søn”. (Matthæus 13:55) Josef oplærer også Jesus som tømrer, og han er lærenem. Faktisk siger folk senere om Jesus: “Er det ikke tømreren?” – Markus 6:3.