Geologicznie rzecz biorąc, Karkonosze są starymi górami. Należą do jednostki geologicznej zwanej blokiem karkonosko-izerskim, a ich obecne ukształtowanie jest wynikiem waryscyjskich ruchów górotwórczych, po których nastąpił okres denudacji i erozji, który doprowadził do zniszczenia skał okrywy i odsłonięcia głębinowych granitów. Łączna powierzchnia wynosi około 650 km², z czego na terytorium Polski znajduje się niecała 1/3 – około 185 km2. W skład bloku karkonosko-izerskiego wchodzą również Góry i Pogórze Izerskie, Kotlina Jeleniogórska oraz Rudawy Janowickie.
Zasadniczy masyw został ponownie wydźwignięty w orogenezie alpejskiej (trzeciorzęd), ale jego poszczególne części podniosły się nierównomiernie, podzielone uskokami i spękaniami, częściowo wypełnionymi przez skały wylewne. Ruch ten objął Karkonosze, ale Kotlina Jeleniogórska nie została podniesiona.
Południowa i wschodnia część gór zbudowana jest z serii skalnych – ordowickich i sylurskich: zlepieńców, fyllitów i zieleńców oraz proterozoicznych: gnejsów, granitów rumburskich i łupków łyszczykowych. Zachodnia część głównego grzbietu gór oraz północne pogórze jest zbudowane z granitu warycyjskiego. W Polsce jest on nazywany granitem karkonoskim, a w Czechach karkonosko-izerskim.
Po ustaniu alpejskich ruchów górotwórczych nastąpił okres silnej erozji, nasilony zwłaszcza w czasie zlodowaceń i po ustąpieniu lądolodu. Powstały wtedy najbardziej atrakcyjne elementy rzeźby Karkonoszy, nadające niektórym ich fragmentom znamiona wysokich gór typu alpejskiego. Najbardziej charakterystycznymi śladami tego okresu są kotły polodowcowe o skalistych ścianach, u których podnóży leżą stożki usypowe i napływowe, niżej zaś moreny denne, czołowe i boczne, stawy i jeziora cyrkowe, średnie i wysokie torfowiska. Wietrzenie w wysokogórskim, niemal polarnym, klimacie doprowadziło do powstania znamiennych wieńców gruzowych, kopców darniowych (thufurów), gruntów strukturalnych, gołoborzy, rynien gruzowych, a przede wszystkim niezliczonych skałek, którymi Karkonosze są wręcz usiane i które stanowią o ich turystycznej atrakcyjności. Na ich powierzchniach można znaleźć dobrze wykształcone kociołki wietrzeniowe, a w łożyskach rzek i potoków – marmity, czyli garnki polodowcowe, będące lejowatymi zagłębieniami w skałach koryta o średnicach oraz głębokościach dochodzących nawet do kilku metrów. Wytworzone zostały głównie w okresie polodowcowym przez wirujące w wodzie kamienie, żłobiące studzienki.
