En primer lugar, preguntaría por qué tiene una columna varchar que debe tratarse como numérica, pero no importa.
Puedes usar el extra
método queryset para convertir su cadena:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])