select * from table
where column_value not like '[^0-9]'
Si se permiten entradas negativas, necesita algo como
where column_value like '[+-]%'
and substring(column_value,patindex('[+-]',substring(column_value,1))+1,len(column_value))
not like '[^0-9]'
Necesita más código si column_value puede ser un número entero que excede los límites del tipo "int" y desea excluir esos casos.