함부르크 태생의 한스 카스트로프는 부유한 상인의 아들로 일찍 부모를 여의고 조부 슬하에서 교육을 받고 자란다. 그의 마음 속에는 항상 19세기의 시민적 윤리관을 가지고 살아온 조부의 그늘이 있었고 그것은 그의 사고와 판단의 지주가 된다. 한스 카스트로프는 사촌 요아힘을 문병하기 위해 스위스의 다보스에 있는 요양소로 여행을 떠난다. 다보스에 있는 요양원은 마의 산이라는 고산지대에 있어서 세속적인 일상 생활과는 분위기가 동떨어진, 삶과 죽음의 중간에 존재하는 폐쇄된 세계였다. 요양소에 도착하기 전까지는 자신이 건강하다고 여기고 있었지만 그곳 원장으로부터 그도 요양할 필요가 있다는 선고를 받고 1차 세계대전이 발발하기 전 7년 간 마의 산 근처에서 요양 생활을 하게 된다.

여기서 그는 왕성한 지식욕과 순수한 의구심을 무기로 여러 가지 사상을 대하고 수많은 체험을 하면서 인간과 인간성을 추구한다. 눈보라 속에서 조난을 당해 죽을 뻔하였던 체험을 한 주인공이 `죽음은 존재를 낳는 힘인 동시에 존재를 파괴하고 해체하는 힘'이라는 것을 배우고 단순히 죽음에의 공감을 넘어서 사랑에 의한 삶에의 봉사가 필요하다는 것을 깨닫는다.

일체의 관습에 얽매이지 않는 러시아 귀족 부인 쇼샤를 사랑하게 되며, 이탈리아 문인이자 이성과 도덕에 의한 문명의 진보를 믿는 민주주의자 세템브리니와 독재와 폭력을 통해 신의 나라를 이룩하려고 하는 유태인 나프타와의 관념적 대립·결투에 말려들기도 하고, 정신세계에 대하여 본능적이고 감각적인 삶의 세계를 대표하는 네덜란드인 페퍼코른의 자살을 보는 등 일련의 과정을 통해 그는 서구 문명의 이성·계몽·진보 대 동구 문명의 도그마·독재·반동의 양자 택일을 넘어서는 사랑과 선의의 휴머니즘을 예견하게 된다. 7년의 요양 생활을 마치고 산 밑으로 내려온 그는 제 1차 세계대전이 발발하자 참전한다..