因为年龄的增长，奥尔巴赫已经下放了权力，在当时的凯尔特人，不再是他的一言堂，他的想法和言论遭到了很多人的反对，当时凯尔特人队的其他人都更看好安托万·沃克这个天赋异禀的大学生，而不是科比这个不成熟的高中生。
他们需要的是即战力，而不是慢慢的培养一名高中生。
经过多次会议的讨论和争吵之后，最终，奥尔巴赫没能胜利，他的建议被驳回，球队在第六顺位选择了另一个天才沃克，奥尔巴赫只能是退而求其次，发动自己的人脉，找到了第十五顺位的太阳，和太阳队达成了协议。
如果科比掉到第十五顺位，那么太阳选中科比，然后把他交易到凯尔特人。
但最终的结果，所有人都知道了。
杰里·韦斯特直接不破不立，交易走球队的首发全明星中锋迪瓦茨，换来第十三顺位选秀权，截胡科比，为球队选到了未来20年的支柱。
科比如果是被别的球队拿去，也许奥尔巴赫还不会那么失望，但被死敌湖人拿走？
奥尔巴赫的心却犹如刀割一样！
也许那个时候，奥尔巴赫就已经有了彻底退休的想法。
接着的1997年，凯尔特人再次遭遇重击！他们摆烂整整一年，摆出了一个联盟倒数第一的排名，奥尔巴赫希望球队能够拿到一个状元签，选中那个所有人都看中的超级天才蒂姆·邓肯！
奥尔巴赫相信，这是凯尔特人的第二个比尔·拉塞尔！
但最后的结果，倒数第一的凯尔特人被上帝耍了，他们只拿到了第三顺位，只选到了一个比卢普斯。
也正是在那次乐透抽签大会之后，奥尔巴赫宣布，自己正式退出管理层，虽然球队多次挽留，最后让奥尔巴赫挂了一个顾问的闲职，但在那之后，奥尔巴赫几乎是彻底不再管球队的事儿了。
他唯一管的，也许就是丹尼·安吉，奥尔巴赫希望把安吉培养成自己的接班人，希望安吉能成为球队的下一个总裁，能让凯尔特人重新回到颠峰。
但可惜的是，除了奥尔巴赫自己，凯尔特人的其他人似乎并不这么想，他们迫切的希望球队‘去奥尔巴赫化’，他们不想用奥尔巴赫的班底。
于是，球队拒绝了奥尔巴赫的推荐，没有让安吉成为球队的总经理，只是给他在球队中找了一个闲职干着。
在感受到自己被球队排斥，连带着自己的弟子都被球队排斥之后，奥尔巴赫算是彻底死心了，他这一次，是真的什么都不再管了，而丹
…。。