Loin de l’image de douceur et de bienveillance qu’on lui attribuait, l’ a pu se montrer particulièrement vindicatif, voire menaçant, envers ceux qui voulaient .

a mis la main sur des échanges épistolaires de l’abbé Pierre avec certains de ses contacts qui ont pu organiser plusieurs de ses séjours en Amérique et au Canada, notamment. Ainsi, après un séjour d’un mois aux Etats-Unis courant 1955, lors duquel plusieurs femmes se sont plaintes du comportement de l’abbé à New York, Chicago et Washington, Suther Marshall, un étudiant américain qui avait co-organisé son voyage, avait écrit ensuite à un des proches du fondateur d’Emmaüs : « J’ai vu tant de choses pendant le voyage, des façons d’agir de l'abbé comme individu. Je pense, par exemple, à Chicago, quand il avait été explicitement décidé que la condition de continuer le voyage, était que le père ne soit jamais seul. Il était d’accord et après [il disparaissait] pendant des heures, au point d’être en retard pour une réunion ».

Ce à quoi l’abbé Pierre lui retourne un courrier menaçant : « Tu promettais de ne plus te mêler de cette multitude de choses où tu ne sais accumuler que des ravages, chaos et infection […] Sache que pas une récidive ne restera sans réponse, et s’il le faut [mes réponses seront] brutales, chirurgicales », écrit l’abbé Pierre d’après un courrier exhumé par la radio publique.

D’autres courriers suivent, notamment en 1959 après un voyage au Canada, où visiblement la police avait dû intervenir et la justice, se saisir d’une affaire d’agression sexuelle, provoquant le départ précipité de l’abbé Pierre du pays et l’intervention du cardinal de Montréal pour lui éviter des poursuites judiciaires.

Ces lettres révèlent également l’internement de l’abbé dans un clinique psychiatrique suisse en 1957, officiellement pour y soigner une hernie diaphragmatique, mais pour laquelle un simple hôpital aurait suffi.