Ich habe das Problem identifizieren können und es hat mit der manuellen Platzierung und Ausrichtung der Kapitelüberschiftenteile zu tun - in meinem Header wurden da allerlei Dinge manuell verändert, die aber nicht korrekt auf automatisch generierte Kapitelnamen wie "Inhaltsverzeichnis" oder "Literaturverzeichnis" angewendet werden.

Ohne da komplett durchzublicken habe ich aber ein Workaround gefunden, was genau das tut, was ich wollte:

\titlespacing{\chapter}{0pt}{1em}{40pt}

in geschweiften Klammern zusammen mit \tabelofcontents erzeugte es den gewollten Effekt nur auf der Seite des Inhaltverzeichnisses.

Gruß,

Florian