Ciao Gio, è strano perchè in teoria una volta che rimuovi il dispositivo dal connect dovrebbe cancellare tutti i dati annessi compresi quindi i contatti in rubrica. Anche perchè se tu dovessi poi vendere l'auto, chi la compra non dovrebbe vedere i tuoi contatti.
Credo quindi che il problema sia dovuto esclusivamente al telefono e non al connect. Per capirci sul telefono i numeri della rubrica ti compaiono una volta soltanto?? io per non sbagliare li ho solamente sul mio account di Google così ogni volta che cambio telefono me li ritrovo sempre tutti.
Prova a fare una verifica. Ciao!