霍顿在正式比赛中 输给了孙杨4次。具体如下：

2012年伦敦奥运会：

霍顿在400米自由泳决赛中不敌孙杨，获得亚军。

2016年里约奥运会：

霍顿再次在400米自由泳决赛中击败孙杨，夺得金牌。

2017年游泳世锦赛：

霍顿在400米自由泳决赛中败给孙杨，获得亚军。

2019年游泳世锦赛：

霍顿在400米自由泳决赛中再次输给孙杨，屈居亚军。

因此，霍顿在正式比赛中输给了孙杨4次。