Esa es la peor manera de hacerlo. Está en contra de la normalización. Tener 2 mesas separadas. Usuarios y User_Followers. Los usuarios almacenarán la información del usuario. User_Followers será así:
id | user_id | follower_id
1 | 20 | 45
2 | 20 | 53
3 | 32 | 20
User_Id y Follower_Id serán claves foráneas que harán referencia a la columna Id en la tabla Usuarios.