Aus versehen habe ich gerade eben im TFS einen falschen Branch herunter gladen.
Eigentlich habe ich pro Workspace immer nur einen Branch in Verwendung!
Diesen kleinen Fehler rückgängig zu machen war nicht ganz intuitiv - den Ordner im Verzeichnis einfach zu löschen ist keine gute Idee, denn dann würde VisualStudio versuchen diesen auch im TFS zu löschen.
Die Lösung ist auf das ChangeSet Nr. 1 zurück zu stellen:
Danach wird der Ordner wieder als "nicht heruntergeladen" angezeigt: