Den kommende tid befandt billedet sig skiftevis i arkitektens hjem og i en bankboks i Handelsbanken. På et tidspunkt henvendte Paget sig besynderligt nok påny som interesseret køber, men arkitekten var da kommet i forbindelse med den norske antikvitets- og kunsthandler, Erik Sinding-Larsen, der i februar 1964 fik billedet i kommission til 200.000 kr. og tog det med til Frankrig, hvor han mente at kunne sælge det. Han fik det også så godt som solgt til kunsthandleren Alex Maguy i Paris, men da han skulle hente pengene næste morgen, havde kunsthandleren i mellemtiden fået det undersøgt hos nogle Toulouse-Lautrec-eksperter, en Madame Dortu og en komité ved Musée d'Albi, som erklærede det for falsk. Derpå rejste Sinding-Larsen hjem igen, afleverede billedet og (ifølge Sinding-Larsen) fortalte arkitekten om erklæringerne. Sinding-Larsen mente dog selv, trods ekspertudtalelserne, at billedet var ægte, og med en ny aftalt pris på 130.000 kr. rejste han atter til Frankrig. Men heller ikke denne rejse resulterede i salg.

Få måneder senere, i juni, krævede Saks imidlertid handelen hævet og pengene refunderet, fordi han ved henvendelse til Musée d'Albi og Sotheby's havde fået oplyst, at billedet allerede i 1959 var blevet erklæret falsk, og at arkitekten havde vidst dette hele tiden, men fortiet det. Arkitekten nægtede at tage billedet retur, hvorpå Saks sagsøgte ham og politiet blev indblandet. Sagen vakte stor opsigt herhjemme.

I marts 1969 varetægtsfængsledes arkitekten sigtet for bedrageri, en sigtelse som udvidedes til også at omhandle en anden falsk akvarel. Tiltalen lød på i tre tilfælde at have forsøgt at sælge – og i ét tilfælde at have solgt – en kopi af Toulouse-Lautrec for værende ægte. Endvidere at have solgt en akvarelleret tegning af Ludvig Find for at være et originalt arbejde af den franske maler Pierre Bonnard.

Første slag stod i Byretten, hvor tiltalte arkitekt forklarede, at han havde fået "Toulouse-Lautree"-billedet af sin far, som havde erhvervet det i en byttehandel i Paris omkring århundredskiftet. Faderen havde aldrig nævnt, at det skulle være en kopi udført af ham selv.

Angående den akvarellerede tegning, som var solgt til Sinding-Larsen for 6.000 kr. - for senere at blive solgt hos Bruun Rasmussen for 15.300 kr. (Auktion 207, nr.29, 1967) - forklarede arkitekten, at den var én ud af mange tegninger, som faderen havde efterladt. Til Sinding-Larsen havde han fortalt, at han "ikke vidste, hvad det var", men at tegningen vist var signeret Bernard og muligvis med fornavnet Paul. Han havde ikke solgt den som en original Bonnard-tegning.

Fra anklagemyndighedens side blev vedrørende "Toulouse-Lautrec"-billedet fremlagt fotografier af infrarøde optagelser taget af Rigspolitichefens tekniske afdeling, der viste, at en tekst var fjernet fra billedets bagside. Flere bogstaver kunne ikke tydes, men politiet mente at kunne fastslå, at der ifølge teksten var tale om en kopi af Toulouse-Lautrec udført i Zürich i 1900 af anklagedes far, den kendte Politiken-tegner. Gennem Interpol havde politiet modtaget oplysninger om, at faderen fra den 22. maj 1900 til den 15 juni 1901 havde boet i Zürich (tegnede til schweiziske blade), og at byens kunstindustrimuseum på det tidspunkt havde været i besiddelse af det tyske kunsttidsskrift, Pan, hæfte III fra 1895, hvori et originalt litografi af Toulouse-Lautrec med nøjagtigt det samme motiv havde været publiceret.

Der blev endvidere fremlagt en tegning angiveligt udført af Ludvig Find, som til næsten mindste detalje svarede til det Bonnard-signerede billede. Fra Kobberstiksamlingen i København forelå en erklæring underskrevet af kunsthistorikeren Merete Bodelsen og overinspektør Erik Fischer, hvori de bl.a. hed: "Efter bedste overbevisning mener vi at kunne udtale, dels at akvarellen ikke forekommer os at kunne være udført af Pierre Bonnard, dels at den efter alt at dømme med rette vil kunne tilskrives den danske kunstner Ludvig Find".

Som vidne forklarede Arne Bruun Rasmussen, at billedet blev solgt på hans auktion for værende udført af Pierre Bonnard til en pris af 15.300 kr. i hammerslag. Ingen havde ved eftersynet eller under selve auktionen gjort indvendinger, og først da en søn af maleren Ludvig Find efter auktionen henvendte sig med en tegning magen til, udført af faderen, blev han klar over, at billedet var et falsum.

I stort opsatte artikler havde pressen fulgt sagen. De indblandede navne, Frankrigs berømte og pikant malende Toulouse-Lautrec samt en af Danmarks mest kendte tegnere,  gjorde det hele mere interessant.

Men adskillige fandt dommene urimelige, heriblandt overinspektør ved Kobberstiksamlingen, senere dens leder, Erik Fischer. Små to uger efter Landsrettens domsafsigelse, den 24. august 1969, havde Erik Fischer en kronik i Politiken. "En speget affære", kaldte han den. Fischer mente, at dommen tog sig helt forkert ud, så forkert, at den burde gøres om. "Det forekommer mig simpelt hen, at retten ikke har godtgjort, at arkitekten har bedraget nogen".

Derpå forklarer Erik Fischer i kronikken om sagens handlingsforløb og skriver bl.a., uden på noget tidspunkt at nævne den dømtes navn:
"Det er vigtigt, at retten ikke finder, at arkitekten på forhånd har vidst, at det drejede sig om en kopi. Skønt Albi-museet, som det danske politi under retssagen kunne bevise, havde ret i sin udtalelse, må sagens centrale spørgsmål alligevel blive: skal man under alle omstændigheder tillægge kunsteksperters udtalelser (selv henkastede bemærkninger) så megen vægt, at en kunstsælger bør forelægge dem for kunstkøberen?

Her skal gentages, at beviset for at billedet er en kopi, først præsteredes af politiet, efter at bedragerisigtelsen var rejst. Albi-museets folk præsterede et skøn. Hvad en dommer eller en bredere almenhed næppe kan vide er, at i ægthedsspørgsmål og inden for den kategori af kunsthistorisk virksomhed, der kaldes tilskrivninger, opererer man i overvejende grad med skøn, d.v.s. (meget populært!): på fornemmelser hvilende afgørelser. Fornemmelser, som den enkelte kunsthistoriker naturligvis søger at gøre ansvarsbevidste og erfaringsrige. Skøn kan rumme og føre til væsentlige sandheder, men de adskiller sig fra beviser derved, at de netop ikke beviser, men kun sandsynliggør ud fra brede eller snævre, mere eller mindre erfarne, men ofte udefinerbare kriterier. Enhver kunsthistoriker ved, at skøn kan være vanskelige at foretage og vanskelige at overbevise andre med. I højt anerkendt og højkompetent kunsthistorisk litteratur møder man ofte den ene specialists skøn stående stejlt og uargumenteret over for den andens, således at man selv må tage stilling ved et nyt skøn mellem de to uforenelige standpunkter".

Erik Fischer sluttede sin kronik: "Dersom selve retsgrundlaget ikke ligefrem er forkert - hvad jeg er tilbøjelig til at tro - virker dommen under alle omstændigheder ret naiv, når den måles overfor virkelighedens kår".