En 1933, il s'installe à Paris, où il ouvre une clinique au 66, rue de Caumartin. En 1936, il est arrêté pour vol à l'étalage à la librairie Gibert, au quartier latin ; il échappe à la prison en se faisant reconnaître aliéné mental. Il est alors interné à la Maison de santé d'Ivry.
En mai 1941, il fait l'acquisition d'un hôtel particulier, situé au 21 rue Le Sueur. Il y réalisera d'importants travaux : il fait surélever le mur mitoyen, afin de barrer la vue de la cour et transforme les communs en cabinet médical. Lors de fouilles, la police découvrira une cave complètement aménagée, des doubles-portes, une chambre à gaz dont la porte était équipée d'un judas pour regarder l'agonie de ses victimes, ainsi qu'un puits rempli de chaux vive.
À partir de 1943, il propose à des personnes menacées de poursuites par la Gestapo de les faire passer clandestinement en Argentine ; ces personnes sont convoquées de nuit, rue Le Sueur, avec une valise contenant bijoux, numéraires, argenterie... sous le nom de « docteur Eugène » il organise ainsi un réseau et recrute des rabatteurs. Malgré tout, tous les prétendants au voyage disparaîtront mystérieusement, et n'atteindront donc jamais l'Argentine... Les services allemands ayant découvert son réseau, Petiot est arrêté et torturé. Libéré, il se réfugie dans l'Yonne.
Le 9 mars 1944, les pompiers sont alertés par des voisins incommodés depuis plusieurs jours par les odeurs s'échappant d'une cheminée de l'immeuble de la rue Le Sueur. Après avoir appelé Petiot chez lui et vainement attendu son arrivée, ils fracturent une fenêtre et pénètrent dans l'immeuble. Ils sont vite alertés par l'odeur et le ronflement d'une chaudière et, descendant dans la cave, découvrent des corps humains dépecés, prêts à être incinérés dans la chaudière. Arrive alors Petiot qui, se faisant passer pour son frère, constate la situation et "part chercher son frère Marcel Petiot" .
Lors de perquisitions, on découvrira cinquante valises et 655 kilos d'objets divers, parmi lesquels un pyjama d'enfant (qui sera reconnu comme étant celui du petit René Kneller, disparu avec ses parents).