Neben dem Porträtauftrag pflegte Schaeffer zu dieser Zeit intensiven Kontakt mit Heideloff. Ab ca. 1863 geriet er mit der Familie Heideloff in Konflikt: Schaeffer behauptet ca. 1860 Heideloff bzw. seiner Schwester Mathilde Heideloff in Stuttgart ein größeres Darlehen gegeben haben. Mathilde unternahm im Sommer 1863 noch zusammen mit Schaeffer eine Italien-Reise, hat ihn dann aber wegen Diebstahls einer Obligation angezeigt und Geld von ihm verlangt: Diese Anzeige war ebenso erfolglos wie die wegen Urkundenfälschung von Marie Tony, einer Nichte Heideloffs in Stuttgart: Schaeffer hatte ca. 1860, als er – seiner Aussage nach - als Heideloffs Privatsekretär gearbeitet hat, sich selbst ein Empfehlungsschreiben im Namen Heideloffs an den württembergischen oder preußischen (?) König geschrieben.