پیشینه‌ی خانوادگی توماس هاردی نقش مهمی در انتخاب موضوعاتی داشت که بعدها در رمان‌هایش به آن‌ها پرداخت. او در کلبه‌ای که پدرِ پدربزرگش در قصبه‌ی کوچکی در هایر باکامپتون، درست خارج از دورچستر در جنوب انگلستان، ساخته بود به دنیا آمد. پدرش سنگ‌تراشی زبده و شریف بود، اما خانواده رازهایی درون خود داشت. والدین هاردی پس از باردار شدن مادرش مجبور شده بودند با عجله ازدواج کنند و مادربزرگش (که دختر یک کشاورز ثروتمند بود) بعد از ازدواج با یک خدمتکار از ارث محروم شده بود. او مجبور شد ازدواج وحشتناکی را تحمل کند و درنهایت در تنگدستی مرد، زیرا همسرش بعد از ازدواج به یک دائم‌الخمر خشن تغییر شخصیت داد. هاردی از این اتفاقات به‌وضوح در نوشته‌هایش استفاده نکرده، اما موضوعاتی مانند ازدواج بین طبقات مختلف، شرم از فرزند نامشروع بودن و تغییر ناگهانی وضعیت دارایی را به‌وضوح می‌شود در آثارش دید.

هاردی پسری بی‌بنیه و بیمار بود؛ اما استعدادی خدادادی داشت. او حتی قبل از اینکه بتواند راه برود، خواندن را آموخت و در مدرسه دانش‌آموزی برجسته بود. رؤیای بزرگ هاردی تحصیل در دانشگاه‌های بزرگ بود، اما مانند شخصیت اصلی رمانش «جود گمنام»، موقعیت اجتماعی‌اش مانع از این امر شد. در عوض یک معمار محلی به نام جان هیکس او را به شاگردی پذیرفت. آنجا بود که با هوراس مول آشنا شد؛ دانشمندی بسیار باهوش، اما آشفته‌حال که ملاقاتش تأثیری عمیق بر هاردی جوان گذاشت. مول در نقش مربی هاردی ظاهر شد و به مطالعات او جهت داد و بعد از تلاش‌های اولیه‌ی او در نوشتن شعر، او را تشویق کرد. آن‌ها تا زمان خودکشی غم‌انگیز مول در ۱۸۷۳ دوستانی صمیمی باقی ماندند.

هاردی شخصیتی حساس و تأثیرپذیر داشت. با اینکه توان تحمل انتقاد را نداشت و بسیار در برابر آن آسیب‌پذیر بود، اما همین ویژگی منجر به درک بیشتر او از رنج بقیه شد. او خاطرات دردناکش را در ذهنش ذخیره کرده بود تا بعدتر از آن‌ها استفاده کند؛ مثلاً در شانزده سالگی، شاهد حلق‌آویزکردن مارتا براون به جرم قتل شوهر زنباره‌اش بود. این آخرین اعدام علنی یک زن در دورچستر بود و این منظره‌ی وحشتناک تا آخر عمر در ذهن هاردی باقی ماند. ردپای این اتفاق را می‌توان به‌وضوح در طرح داستان و شخصیت‌پردازی قهرمان داستان «تس دوربرویل» مشاهده کرد.

در ۱۸۶۲ هاردی برای پیشرفت حرفه‌اش به لندن نقل مکان کرد و به معمار دیگری به نام آرتور بلومفیلد پیوست. او مجذوب پایتخت شده بود و از لذت‌های فرهنگی آن مثل تئاترها و گالری‌ها بهره می‌برد. از کارهای معماری او در آن زمان، طرح مبتکرانه‌ای باقی مانده است. این کار که به آن درخت هاردی گفته می‌شود چیدمانی دایره‌ای از سنگ قبرهاست. او زمانی آن را طراحی کرد که قصد داشت با پاکسازی محوطه‌ی قبرستان راهی برای عبور خط جدید راه‌آهن باز کند. هاردی با همسر اولش از راه کارهای معماری‌اش آشنا شد. او برای برآورد هزینه‌ی تعمیرات کلیسای سنت جولیوت به کورنوال رفته بود که با اِما گیفورد آشنا شد. پدر اِما یک وکیل بود؛ مردی با موقعیت اجتماعی بسیار بالاتر از موقعیت خانواده‌ی هاردی، اما در آن زمان او یک دائم‌الخمر بازنشسته بیش نبود. با وجود این، هاردی سال‌ها تلاش کرد تا پیشینه‌ی خانوادگی خود را مخفی نگه دارد و مانع از آن شود که دو خانواده با هم ملاقاتی داشته باشند.

آن دو در ۱۸۷۴ با هم ازدواج کردند و تنها شاهدهای ازدواج آن‌ها، برادر اما و دختر صاحب‌خانه‌ی هاردی بودند. این یکی از انواع تنش‌های اجتماعی‌ای بود که هاردی به‌خوبی در رمان‌هایش توصیف می‌کند.

در این زمان، هاردی خودش را کاملاً وقف نویسندگی کرده بود. کتاب «داروهای ناامیدی» در ۱۸۷۱ به پایان رسید و هاردی ناچار شد آن را با هزینه‌ی شخصی منتشر کند. اثر بعدی‌اش در ۱۸۷۲، «زیر درخت گرین‌وود» داستانی مختصر اما گیرا بود که با الهام از خاطرات کودکی او از نوازندگان کلیسای محلی (از جمله پدرش) نوشته شده بود. در کتاب بعدی «یک جفت چشم آبی» (۱۸۷۳) قهرمان اثر، شخصیتی شبیه به اما گیفورد دارد. در هر حال، این چهارمین کتاب هاردی «دور از اجتماع خشمگین» بود که برای او شهرت به ارمغان آورد. این کتاب از ژانویه تا دسامبر ۱۸۷۴ به صورت پاورقی در مجله‌ی معتبر کورنهیل چاپ و بعدتر در دو جلد منتشر شد. در دوران ویکتوریا، انتشار داستان دنباله‌دار به معنی ظهور یک نویسنده‌ی جدید بود. این کار به نویسندگان اجازه می‌داد با پیدا کردن مخاطب انبوه به درآمد مناسبی دست یابند. (در آن زمان مجلات بسیار ارزان‌تر از کتاب‌ها بودند.) در‌هر‌حال، این نحوه‌ی انتشار داستان، محدودیت‌هایی را هم به نویسنده تحمیل می‌کرد: گیرایی داستان باید به‌طور برابر در کل قصه پخش می‌شد و نوشتن هر بخش باید در یک ضرب‌الاجل مشخص پایان می‌یافت، همچنین محتوا باید مناسب کل افراد خانواده طراحی می‌شد. هاردی با چنین شرایطی دست‌وپنجه نرم می‌کرد. اگرچه می‌شد بین نسخه‌ی پاورقی و کتاب منتشرشده‌ی نهایی تغییراتی اعمال کرد.