Visser volgde van 1948 tot 1949 een studie architectuur aan de Technische Hogeschool in Delft en aansluitend tot 1951 beeldhouwkunst aan de Koninklijke Academie van Beeldende Kunsten in Den Haag. Na een studiereis in Engeland en Frankrijk vestigde hij zich in 1952 in Amsterdam. Hij creëerde aanvankelijk gestileerde, ijzeren vogelsculpturen en had zijn eerste solo-expositie in 1954 bij Galerie Martinet in Amsterdam. In 1957, toen zijn beeldhouwstijl abstracter was geworden, brak een periode met enkele reizen aan: een studiereis naar Italië (Sardinië) met een een beurs van de Italiaanse overheid in 1957, een verblijf als visiting professor aan de Washington University, Saint Louis (Missouri) (V.S.) in 1962 en een studiereis naar Mexico met een Nederlandse staatsbeurs in 1965. Visser was docent aan de Koninklijke Academie in Den Haag van 1958 tot 1962.

In 1968 werd Visser uitgenodigd voor de 4.documenta in Kassel en de Biënnale van Venetië. In het zelfde jaar werd door Jonne Severijn een documentaire film gemaakt over zijn werk. Visser vestigde zich in 1981 in Rijswijk (Gelderland). Hij was van 1966 tot 1998 docent aan de Ateliers '63 in Haarlem.

Carel Visser wordt gezien als een van de belangrijkste constructivistische beeldhouwers van Nederland. Zijn latere werk kenmerkt zich door assemblage van een veelheid aan materialen, zoals autobanden, olievaten, autoruiten, leer, schapenvacht, eieren enz. Hij maakt geordende verbindingen met deze zogenaamde grote en soms kleine objets trouvés. Een aantal van zijn werken wordt ook wel vergeleken met een muziek compositie waarbinnen herhaling en variatie een belangrijke rol spelen. Zijn werken uit de periode 1975-1985 zou men environments kunnen noemen, in tegenstelling tot het meer sculpturale werk zoals het stervend paard (circa 1949).

Rond 1960 houdt hij zich bezig met de massieve gesloten kubus van ijzer en de "slappe " kubus van draad. Visser laat zich onder andere inspireren door de natuur (plant en dier) wat ook zijn natuurlijke materialen zoals hout, wol, zand, veren, botjes, touw en leer verklaart.

Zijn werk bevindt zich in de collectie van musea en beeldenparken, onder andere: Tate Modern in Londen,Museum Boijmans Van Beuningen in Rotterdam en het Kröller-Müller Museum en beeldenpark in Otterlo.