1960년대 팔당댐 공사가 시작되면서 서울에서 올라오던 황포돛대를 세운 상선들과 영월, 단양 등지에서 서울로 향하던 뗏목들이 목계나루에서 점차 자취를 감추게 되면서 목계의 상경기는 침체의 늪에 빠지기 시작하였다.

그래도 목계나루에는 남한강을 건너 서울로 가는 손님들과 화물을 실어 나르는 나룻배와 찻배가 있어서 목계의 중요한 수입원 구실을 하였다. 이러한 목계마을이 회복 불능의 상태가 되는 중요한 요인 중의 하나는 1972년에 있었던 대홍수였다. 이때 마을이 거의 침수되어 아랫말과 건너말에 살던 주민들이 새마을이나 외지로 이주하는 바람에 마을의 모습은 급변하게 되었다. 또 다른 요인은 1973년 목계교의 건설이었다. 이 다리의 건설로 마을 기금 중 가장 큰 몫을 차지했던 목계나루가 폐쇄되었으며, 건설 인부로 왔던 많은 사람들이 목계로 이주하게 되었다. 내계에 있는 새동네에는 이때 이주한 주민들이 많이 살고 있다.

1985년 완공된 충주 다목적댐도 목계의 변화에 큰 역할을 하였다. 댐 공사는 1980년에 시작하였는데, 이 공사로 말미암아 남한강에서 나오는 단양의 진오석(眞烏石)이 물길을 따라 흘러내려 목계강 변에서 채취되기 시작했고, 목계는 수석의 고장으로 자리를 잡게 되었다. 이 영향으로 19번 국도변을 따라 1982년을 전후하여 수석가게들이 문을 열게 되었고 전성기에는 30여 호의 수석가게가 있었다.

홍수 때마다 물길에 의해 전국적으로 유명한 오석이 목계강 변으로 흘러왔는데, 남한강 수계의 홍수조절용 댐의 건설로 우수한 수석이 급격히 줄어들었다. 또 1997년 경제 위기를 겪으면서 수석 수집 인구의 감소에 따라 목계 수석가게들은 급격한 침체와 함께 상당수의 점포가 문을 닫게 되었다.

현재 목계의 수석 관련 점포는 약 20여 곳이 영업 중인데 이들은 번성기, 침체기, 쇠퇴기를 모두 겪은 사람들로 나름대로 전문가들이라고 본다. 목계의 수석전문가들은 수석 감정, 수석 판매 및 수집과 같은 일을 현재도 하고 있으며, 목계를 상징할 만한 수석 관련 이야기와 역사를 만들어가고 있다.