Los paréntesis son importantes, por lo tanto, intente esto:
SELECT japanese
FROM edict
WHERE japanese LIKE CONCAT('%',
(SELECT japanese FROM edict WHERE english LIKE 'dog' LIMIT 1),
'%');
Sin embargo, podría haber sido bueno que nos dijeras qué error recibiste.