Z levého břehu se na Karlův most vchází z Malé strany branou mezi dvěma věžemi. Nižší mosteckou věží a Vyšší mosteckou věží. Pocházejí z různých období a nemají jednotný styl. Starší je ta nižší z nich. Byla součástí již prvního kamenného mostu přes Prahu – Juditina. Proto se také nazývá Juditina. A je dokonce starší než Juditin most, protože byla vystavěna již v první polovině 12. století a je tak zbytkem původního opevnění města. Má románský původ a stavebním materiálem byla opuka. V roce 1591 byla věž renesančně upravena. Z této přestavby se zachovaly ozdobné štíty a zbytky rustikované omítky, dále pak tvar oken a portálu. Na začátku 15. století bylo ve věži zřízeno vězení pro nejtěžší provinilce. K věži je přistaven malý domek, zvaný celnice. Věž totiž sloužila od konce 16. století do roku 1784 jako celní úřad. V domku také sídlil úřad mostu Pražského a solní úřad císařský. Vnitřek věže tvoří přízemí a tři patra, jež jsou spojena dřevěným schodištěm. Každé patro má jednu místnost. V místech, kde končí schodiště, je vchod na oblouk brány, kudy se dá přejít do vedlejší věže. Ve sklepení věže se dochoval jedinečný soubor rytin vytvořených v polovině 13. století, které zobrazují lidské postavy, zvířata a zbraně, osmicípou hvězdu a řadu šlechtických erbů. V nižší mostecké věži je také jedna z nejvýznamnějších památek českého románského sochařství. Jde o unikátní pozdně románský reliéf, který byl náhodně odkryt koncem 19. století v prvním patře domku. Na reliéfu jsou dvě postavy téměř v životní velikosti. Vpravo panovník sedící na trůně, vlevo klečící muž jakoby panovníkovi něco podával nebo od něj něco přijímal. Pravděpodobně jde o císaře Fridricha Barbarossu a klečícího krále Vladislava v okamžiku, kdy císař předává Vladislavovi dědičnou královskou korunu.

Druhá, vyšší mostní věž je nejmladší stavební součástí mostu a byla postavena po roce 1464 za krále Jiřího z Poděbrad, který její stavbu i financoval. Před ní zde zřejmě stála věž románská. Vyšší mostní věž je gotická, postavená z pískovce a má hranolový tvar. Neznámý stavitel se snažil, aby se podobala Staroměstské mostecké věži Petra Parléře. Na věži jsou výklenky, do nichž byly patrně plánovány i monumentální sochy, jejichž provedení však nebylo realizováno. Věž sloužívala jako hláska a skladiště, je vysoká 45 m a na rozdíl od nižší věže je veřejnosti přístupná. Ochoz této věže slouží jako vyhlídka na Prahu. Na Karlův most, Vltavu, Malou Stranu, Petřín a Hradčany.

Gotickou branou mezi oběma věžemi se vchází na Malou Stranu. Brána vznikla po roce 1411 na místě starší románské stavby. Horní okraj je opatřen cimbuřím a plochy brány jsou zdobeny znaky zemí Václava IV.. Na straně směrem k mostu jsou zleva doprava: lucemburský lev, český lev a moravská orlice. Pod nimi je dvakrát znak Starého Města pražského. Na druhé fasádě otočené k Malé Straně je znak Vratislavska, český lev a znak Dolní Lužice. Pod nimi je pak znak Starého a Menšího Města pražského.