In de tweede helft van de jaren veertig, tijdens zijn zwerversbestaan, was Lucebert erg productief als dichter en als tekenaar. Op elk stuk papier dat hij in handen kreeg, schreef hij gedichten of maakte hij tekeningen. Aan het zwerversbestaan kwam rond 1952 een einde toen Lucebert Tony Koek ontmoette, de vrouw met wie hij later zou trouwen. Samen betrokken ze een zolderkamer in Amsterdam. Het jaar daarna, in 1953, verhuisden de twee naar het kunstenaarsdorp Bergen, waar ze een tijdje in het tuinhuis van de zus van Gerrit Kouwenaar konden wonen. In 1954 ontving Lucebert (pseudoniem voor Lubertus Jacobus Swaanswijk)zijn eerste uitkering voor kunstenaars, en daardoor was hij in staat om in Bergen te blijven wonen.

Om financiële redenen is Lucebert pas vanaf 1957 in staat om over te gaan op het schilderen. Hij begon steeds beter te verkopen, en was daardoor in staat om verf en linnen aan te schaffen. In de periode 1957-1962 maakt Lucebert veel schilderijen. In een interview met Jens Christian Jensen verklaarde Lucebert deze hoge productiviteit aan de hand van zijn tekeningen: door het maken van al die tekeningen in de jaren voor 1957 voelde het alsof hij zich jarenlang kon voorbereiden op het schilderen. Door de ervaring die hij had met het tekenen, wist hij precies wat hij wilde op het linnen. Over de thema`s in zijn schilderijen zegt Lucebert het volgende:

`Het is moeilijk toe te lichten, dat er thema`s zijn in mijn werk. Ja, dat zijn de beelden, figuren die me leiden, die, zo zou je het bijna kunnen zeggen, mijn persoonlijke mythologie vormen, die zich steeds maar weer aan me opdringen, daar kan ik niet omheen. Dat is mijn innerlijke wereld van figuren. Niet alleen de figuren, niet alleen de voorstellingen op zich, ook de manier waarop ik de kleuren en de vormen op de juiste manier aanbreng` (Jensen, 2001, p. 34).

Toch beschouwde Lucebert zichzelf meer als een tekenaar dan als een schilder. Mede door het feit dat hij kleurenblind was, vond hij dat wat hem tijdens het tekenen wel lukte, in schilderijen vaak mislukte. In de periode van halverwege de jaren zestig tot het begin van de jaren tachtig lag het accent zelfs meer op de beeldende kunst dan op het dichterschap. Op het moment dat Lucebert de P.C. Hooftprijs in ontvangst nam, was hij veel actiever als schilder dan als dichter. En zijn geschilderde oeuvre kon op minstens zo veel bewondering rekenen als zijn geschreven oeuvre. Zo won hij in 1962 één van de Marzotto Prijzen, een belangrijke prijs, toegekend door de Europese Gemeenschap.

In het jaar dat hij de prestigieuze Prijs der Nederlandse Letteren toegekend krijgt - 1983 - kreeg hij de opdracht om in het Letterkundig Museum in Den Haag een enorme wandschildering te maken. Deze bestond uit zes delen, elk van bijna acht meter breed en bijna drie meter hoog. Lucebert toonde er de Nederlandse literatoren als goden op de Olympus, die met elkaar bekvechten.

Lucebert kreeg de Jacobus van Looy-prijs 1990 toegekend vanwege zijn prestaties als dubbeltalent. Deze prijs gaat om de vijf jaar naar een kunstenaar die zich heeft onderscheiden op het terrein van de literatuur èn van de beeldende kunst en werd ook uitgereikt aan Armando, Breyten Breytenbach en Charlotte Mutsaers.

In de jaren zestig legde Lucebert zich ook toe op het fotograferen. Op verzoek exposeerde hij zijn werk, onder andere in Amsterdam en in Bergen. Hille Kleinstra karakteriseerde de fotograaf Lucebert als iemand die met `kinderlijke verwondering` kijkt naar `wat mensen doen`.

Hoewel Lucebert zelf beweerd heeft, dat zijn werk als dichter niet gerelateerd was aan zijn werk als schilder/tekenaar, vond Cyrille Offermans wel degelijk overeenkomsten. Lucebert vertelde: `Er is, als ik schilder, in mij een totale afwezigheid van taal. Er zijn schilders die als zij bezig zijn zelfs hardop praten, die steunen, zuchten, vloeken, zich zelf bevelen toeroepend, maar ik ben muisstil. Men kan in mijn atelier spelden horen vallen, maar geen woorden` (Lucebert, 1967, p. 7).

Maar de beelden die in het gedicht of in het schilderij gebruikt worden komen wel uit eenzelfde bron. Toen Offermans bij verschijnen van Luceberts postume dichtbundelde maltentige losbol ook de daarin gereproduceerde gouaches te koop werden aangeboden, kon hij vaststellen dat zijn gouache was afgebeeld op het omslag - maar dat in een van de gedichten de regel `Ons houdt vogel leven in zijn klauwen` verwijst naar deze gouache. `En daarmee wordt, wat mij betreft, Luceberts uitspraak dat zijn poëzie en zijn teken- en schilderwerk niets met elkaar te maken hebben, moeiteloos gelogenstraft. Ze hebben wel degelijk met elkaar te maken. Ze belichamen de faculteiten oor en oog, die pas in combinatie garant staan voor een heelhuids weten` (Offermans, 1999, p. 364).

Het Stedelijk Museum in Amsterdam bezit een collectie die beide talenten van Lucebert kan demonstreren. Het is een combinatie van de schilderijen die het Museum in de loop der jaren aankocht met een collectie boeken, grafiek en andere Lucebert-parafernalia die werden verzameld door de tandarts Kees Groenendijk en diens vrouw Pau Voûte. De Groenendijk-Voûte-collectie werd in 1986 verworven. In 1987 verscheen daarvan een geïllustreerde catalogus (Petersen, 1987).