Durch sein zunehmend schlechtes Bild in der Öffentlichkeit war Schwerin zu einem unliebsamen Mitarbeiter für den Bundeskanzler geworden. Außerdem waren der Auftrag Schwerins (Vorbereitungen für eine zentrale Schutzpolizei auf Bundesebene zu treffen) und damit die Existenzberechtigung der Zentrale für Heimatdienst, durch die Entscheidungen in New York Mitte September 1950 hinfällig geworden. Daher beauftragte der Bundeskanzler den Ministerialdirektor Globke, dem die ZfH am 23. Oktober 1950 direkt unterstellt worden war, mit der Entlassung Schwerins. Am 28. Oktober 1950 unterzeichnete Schwerin eine Presseerklärung, nach der er selbst um seine Entlassung gebeten habe. Diese erschien am 30. Oktober 1950 in den Tageszeitungen.