La première tâche de Hopetoun a été de choisir un Premier ministre pour former un gouvernement, qui devait entrer en fonction le 1er janvier 1901. Les premières élections n'ayant lieu qu'en mars, il ne peut pas choisir le chef du plus grand parti politique de la Chambre des représentants. Il demande plutôt à Sir William Lyne, le Premier ministre du plus grand État, la Nouvelle-Galles du Sud, d'être Premier ministre
Bien que ce soit un choix raisonnable, Lyne s'était opposé à la fédération et était impopulaire auprès des principaux politiciens fédéralistes. Alfred Deakin et d'autres politiciens importants ont dit à Hopetoun qu'ils ne travailleraient pas avec Lyne. Hopetoun a alors demandé à Edmund Barton, le leader du mouvement fédéral et l'homme que tout le monde pensait devoir être le Premier ministre. C'est ce qu'on a appelé la "bavure de Hopetoun".
Les problèmes se sont vite multipliés. Hopetoun avait amené son propre secrétaire officiel, le capitaine Edward William Wallington. Les Australiens ne voulaient pas d'un Anglais chargé des affaires officielles. Ils n'aimaient pas non plus le faste et la cérémonie royale que Hopetoun utilisait à son poste, ni l'argent que cela coûtait. Il a agi comme s'il dirigeait l'Australie avec le Premier ministre. Ce n'est pas ce que les auteurs de la Constitution avaient voulu.
Hopetoun se lie d'amitié avec John "Chummy" Fleming, pionnier de l'anarchisme et des syndicats à Melbourne. En mai 1901, Fleming proteste contre le chômage à Melbourne en se précipitant sur le Prince's Bridge pour arrêter la voiture du gouverneur général. Hopetoun a écouté Fleming parler des problèmes des chômeurs. Selon certains rapports, Hopetoun aurait fait accélérer les projets de travail du gouvernement.
Enfin, il y avait un problème concernant le montant de la rémunération du gouverneur général pour avoir une maison à la fois à Sydney, la plus grande ville, et à Melbourne, le siège du gouvernement australien. Les parlements du Commonwealth et de l'État de Victoria ne voulaient pas verser plus d'argent à Hopetoun. Hopetoun démissionne en mai 1902. Il quitte l'Australie (de Brisbane) avec sa famille le 17 juillet 1902. Il sait qu'il a échoué dans un rôle historique. Il est créé premier marquis de Linlithgow le 27 octobre 1902, alors qu'il est encore gouverneur général. Son mandat prend officiellement fin le 9 janvier 1903. Il est nommé secrétaire d'État pour l'Écosse en 1905.
Il meurt subitement le 29 février 1908, à Pau, dans les Pyrénées-Atlantiques, en France.