Tienes razón, no debes almacenar los contactos en una cadena. En su lugar, utilice otra tabla que contenga la información del usuario. La nueva tabla debería tener un aspecto similar al siguiente:
Table: user_contacts
| user_id | contact_id | confirm |
-------------------------------------------
| your data here... |
Luego, cuando necesite su lista de contactos, simplemente puede realizar otra consulta:
SELECT * FROM `user_contacts`
JOIN `users` ON `users`.`id` = `user_contatcs`.`user_id`
WHERE `users`.`id` = $id
ORDER BY `users`.`name`;
O como necesites pedirlo.