Naja - dann wird es auf jeden Fall schon recht kühl sein, ich war letztes Jahr Anfang November dort und hatte schon Temperaturen nur knapp über dem Gefrierpunkt. Aber die o.g. Möglichkeiten bleiben natürlich - Ich würde nur ggf. Waterfront rauslassen, das ist im Winter ein wenig trostlos (kommt aber auf das Wetter an, bei strahlendem Sonnenschein ist es evtl. doch reizvoll).
Ganz ehrlich - Falls du die Möglichkeit hast auch ohne die 8h Aufenthalt zurück zu fliegen würde ich dies vermutlich tun und mit Toronto mal für ein paar Tage im Frühjahr aufheben wenn es denn passt. 8h Aufenthalt wären mir mit Einreise nach Kanada, 2x Transfer in die Stadt und dann mit Vorlauf wieder am Airport sein einfach zu wenig und zu viel Stress im Winter (Das Wetter kann dir auch einen ordentlichen Strick durch die Rechnung machen - Schnee/Eis etc.) - Im Sommer dann schon eher, da kann man zumindest den Lake Ontario ein wenig genießen. Und je nach dem kommt evtl. der Flug aus den USA dann auch noch später an als erwartet und der ganze Plan geht sich dann so oder so nicht aus...