En primer lugar, debe usar clases para sus selecciones en lugar de una identificación. jQuery solo devolverá un elemento cuando use una identificación. Después de eso, la siguiente función convertirá todos los valores de las selecciones que proporcione como parámetro en una matriz.

/**
 * Convert select to array with values
 */    
function serealizeSelects (select)
{
    var array = [];
    select.each(function(){ array.push($(this).val()) });
    return array;
}

Entonces:

var course_ids = serealizeSelects($('.course_id'));

Debería, por ejemplo, devolver:

[1,3,2]