Usando variables y condiciones, puede restablecer el contador en función de una condición (libraryId ha cambiado). Obligatorio ordenar por la columna libraryId.
SELECT books.*,
if( @libId = libraryId,
@var_record := @var_record + 1,
if(@var_record := 1 and @libId := libraryId, @var_record, @var_record)
) AS Ordinal
FROM books
JOIN (SELECT @var_record := 0, @libId := 0) tmp
ORDER BY libraryId;
La segunda instrucción if se usa para agrupar dos asignaciones y devolver @var_record.
if(@var_record := 1 and @libId := libraryId, @var_record, @var_record)