Tuve un problema similar. Uso Spring Boot 1.5.9 y postgres 9.6, data.sql con inserciones. La codificación en data.sql era UTF-8, pero después del inicio de la aplicación, en DB había símbolos especiales en lugar de letras rusas.
spring.datasource.sql-script-encoding= UTF-8
Esta propiedad en application.properties ha ayudado.
Todas las propiedades responsables de DB:
spring.datasource.jndi-name=java:/PostgresDS
spring.jpa.properties.hibernate.default_schema=my_scheme_name
spring.jpa.hibernate.ddl-auto = update
spring.jpa.show-sql = false
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.PostgreSQLDialect
spring.datasource.continue-on-error=true
spring.datasource.sql-script-encoding= UTF-8
