魔术师离开湖人的原因主要是因为 与球队管理层，特别是主教练卢克-沃顿存在分歧，并且他感到自己在球队中的决策权有限。
具体来说，魔术师在担任湖人篮球大管家期间，希望解雇沃顿，但并未得到老板珍妮的支持。他认为沃顿不适合继续担任球队的主教练，并且在与管理层的意见不一致后，他主动退出。魔术师还提到，他在任期间成功引入了詹姆斯，这是他比之前的几任管理者强的地方之一。
此外，魔术师在采访中透露，他在一开始就只打算在湖人队篮球事务运营总裁的位置上待三年，并且希望“帮助”两位年轻人成长。然而，他与罗伯-佩林卡的关系并不好，佩林卡一直被外界视为魔术师的继任者，这也导致了后者愤而辞职。
综合以上信息，可以得出结论：魔术师离开湖人主要是因为他与球队管理层在沃顿的去留问题上存在严重分歧，并且感到自己在球队中的决策权有限。