本文转载自微信公众号「小明菜市场」,作者小明菜市场。转载本文请联系小明菜市场公众号。
前言
在之前如果需要处理集合需要先手动分成几部分,然后为每部分创建线程,最后在合适的时候合并,这是手动处理并行集合的方法,在java8中,有了新功能,可以一下开启并行模式。
并行流
认识开启并行流
并行流是什么?是把一个流内容分成多个数据块,并用不同线程分别处理每个不同数据块的流。例如,有下面一个例子,在List中,需要对List数据进行分别计算,其代码如下所示:
- List<Apple> appleList = new ArrayList<>(); // 假装数据是从库里查出来的
- for (Apple apple : appleList) {
- apple.setPrice(5.0 * apple.getWeight() / 1000);
- }
在这里,时间复杂度为O(list.size),随着list的增加,耗时也在增加。并行流可以解决这个问题,代码如下所示:
appleList.parallelStream().forEach(apple -> apple.setPrice(5.0 * apple.getWeight() / 1000));
这里通过调parallelStream()说明当前流为并行流,然后进行并行执行。并行流内部使用了默认的ForkJoinPool线程池,默认线程数为处理器的核心数。
测试并行流
普通代码如下所示:
- public static void main(String[] args) throws InterruptedException {
- List<Apple> appleList = initAppleList();
- Date begin = new Date();
- for (Apple apple : appleList) {
- apple.setPrice(5.0 * apple.getWeight() / 1000);
- Thread.sleep(1000);
- }
- Date end = new Date();
- log.info("苹果数量:{}个, 耗时:{}s", appleList.size(), (end.getTime() - begin.getTime()) /1000);
- }
输出的内容为耗时4s。
并行代码如下所示:
- List<Apple> appleList = initAppleList();
- Date begin = new Date();
- appleList.parallelStream().forEach(apple ->
- {
- apple.setPrice(5.0 * apple.getWeight() / 1000);
- try {
- Thread.sleep(1000);
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
- }
- );
- Date end = new Date();
- log.info("苹果数量:{}个, 耗时:{}s", appleList.size(), (end.getTime() - begin.getTime()) /1000);
输出结果为耗时1s。可以看到耗时大大提升了3s。
并行流拆分会影响流的速度
对于并行流来说需要注意以下几点:
代码如下所示:
- package lambdasinaction.chap7;
- import java.util.stream.*;
- public class ParallelStreams {
- public static long iterativeSum(long n) {
- long result = 0;
- for (long i = 0; i <= n; i++) {
- result += i;
- }
- return result;
- }
- public static long sequentialSum(long n) {
- return Stream.iterate(1L, i -> i + 1).limit(n).reduce(Long::sum).get();
- }
- public static long parallelSum(long n) {
- return Stream.iterate(1L, i -> i + 1).limit(n).parallel().reduce(Long::sum).get();
- }
- public static long rangedSum(long n) {
- return LongStream.rangeClosed(1, n).reduce(Long::sum).getAsLong();
- }
- public static long parallelRangedSum(long n) {
- return LongStream.rangeClosed(1, n).parallel().reduce(Long::sum).getAsLong();
- }
- }
- package lambdasinaction.chap7;
- import java.util.concurrent.*;
- import java.util.function.*;
- public class ParallelStreamsHarness {
- public static final ForkJoinPool FORK_JOIN_POOL = new ForkJoinPool();
- public static void main(String[] args) {
- System.out.println("Iterative Sum done in: " + measurePerf(ParallelStreams::iterativeSum, 10_000_000L) + " msecs");
- System.out.println("Sequential Sum done in: " + measurePerf(ParallelStreams::sequentialSum, 10_000_000L) + " msecs");
- System.out.println("Parallel forkJoinSum done in: " + measurePerf(ParallelStreams::parallelSum, 10_000_000L) + " msecs" );
- System.out.println("Range forkJoinSum done in: " + measurePerf(ParallelStreams::rangedSum, 10_000_000L) + " msecs");
- System.out.println("Parallel range forkJoinSum done in: " + measurePerf(ParallelStreams::parallelRangedSum, 10_000_000L) + " msecs" );
- }
- public static <T, R> long measurePerf(Function<T, R> f, T input) {
- long fastest = Long.MAX_VALUE;
- for (int i = 0; i < 10; i++) {
- long start = System.nanoTime();
- R result = f.apply(input);
- long duration = (System.nanoTime() - start) / 1_000_000;
- System.out.println("Result: " + result);
- if (duration < fastest) fastest = duration;
- }
- return fastest;
- }
- }
共享变量会造成数据出现问题
- public static long sideEffectSum(long n) {
- Accumulator accumulator = new Accumulator();
- LongStream.rangeClosed(1, n).forEach(accumulator::add);
- return accumulator.total;
- }
- public static long sideEffectParallelSum(long n) {
- Accumulator accumulator = new Accumulator();
- LongStream.rangeClosed(1, n).parallel().forEach(accumulator::add);
- return accumulator.total;
- }
- public static class Accumulator {
- private long total = 0;
- public void add(long value) {
- total += value;
- }
- }
并行流的注意
作者 | 绯一 搭建系统行业现状面向领域提供解决方案,提高生产效率 via 云凤蝶可...
本文转载自公众号读芯术(ID:AI_Discovery) 如果你即将要面临大型科技公司的技术...
TOP云 (west.cn)6月12日消息,近日国际消费电子产品展览会(Consumer Electron...
在微服务环境中,服务网格为开发和运营提供了好处。 很多开发者不知道为什么要关...
文章简介 本文将通过理论+实践的方式从头到尾总结Redis中的哨兵机制。文章内容 ...
10月28日,智美蓉城进而有为 华为成都城市峰会2020成功举办。峰会期间,企业数字化...
活动信息 时间:2021年7月17日(周六)14:00 —17:00 地点:北京 · 海淀区中关...
企业邮箱 在哪申请?目前市面上的企业 邮箱 比较多,申请一个邮箱其实不难。但在...
1、什么服务器租用? 服务器租用是指用户无须自己购买服务器硬件,租用IDC服务商...
每个企业的云之旅都是独一无二的。每一种云都要求公有云和私有云以及传统基础架...