Młody chłopak, który doświadczył rozpadu swojej rodziny jako nastolatek, stał się bardziej przywiązany do matki, a mniej do ojca, z którym nadal jest w kontakcie.
Urodzony w Cambridge, Massachusetts, 15 sierpnia 1972 roku, syn Chris Ann Boldt i Thomasa Afflecka, dorastał w trakcie rozwodu swoich rodziców w 1984 roku, zanim stał się znaną postacią w branży rozrywkowej. Mimo rosnącej sławy, utrzymywał bliskie relacje z matką, co wskazywało na ich silną więź – szczególnie podczas jej problemów zdrowotnych.
Jego matka, była nauczycielka w szkole publicznej, która później poszła na Uniwersytet Harvarda, aby zdobyć tytuł magistra i zaangażować się w ruch praw obywatelskich, miała duży wpływ na jego dzieciństwo.