Теоретически решение должно выглядеть так, но проверяй, я неопытный в gulp-e
gulp.task("build", isBrowserSync ? gulp.series(build, server) : build);
Идея - при наличии флага isBrowserSync не включать таску server в список тасок на выполнение