Puedes hacerlo agrupando tus elementos por 2 columnas. (número y nombre). Luego acceda a los datos agrupados. Puedes hacerlo de alguna manera así:
var query =
from col in viewData
group col by new
{
col.name,
col.number,
} into groupedCol
select new viewData()
{
number = groupedCol.Key.number,
name = groupedCol.Key.name,
datetime = groupedCol.OrderBy( dateCol => dateCol.datetime).First()
};