Tive um problema semelhante!
Tinha uma 9400gt(que eu rodava no lion e depois ML) e troquei por uma gtx650ti da EVGA.
Foi logo após o lançamento do Maveriks!
Pra minha surpresa aconteceu o mesmo. Pra não ficar apé instalei o windows8 pra tentar resolver, mas, não resolveu!
Detonei a instalação com tanto que eu mexi. Por fim tentei voltar a 9600 e só piorei a situação!
Tentei fazer uma instalação nova(Limpa ja que os meus dados ficam no HD externo), também não deu.
Fui "forçado" a esperar um update que "contemplasse" a minha placa.
Infelizmente MacOs não é igual o windows, e Hackintosh tem que ter paciência mesmo, pois, sua placa tem instruções novas(série Maxwell se não me engado) e ainda não vi Mac original com elas.
Recomendo esperar o proximo update de hardware da apple ou trocar a placa.
