El término que está buscando es "paginación". Desafortunadamente, esto se hace de manera diferente según el motor SQL.
Para MS SQL Server, consulte este Pregunta de desbordamiento de pila .
Ya que mencionaste MySQL, en realidad es bastante simple:
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
La primera declaración obtiene los resultados 1-10 000 y la segunda declaración obtiene los resultados 10 001-20 000.
