• 互联网新闻信息服务许可证 2019-05-05
  • 党史人物纪念馆(封面) 2019-05-03
  • 西班牙爱维华葡萄酒:你深藏闺中,却被我发现葡萄酒 经理 2019-04-25
  • 赋予妇女更多权利!沙特首次向女性发驾照 2019-04-25
  • 张德江:必须毫不动摇坚持、与时俱进完善人民代表大会制度 2019-04-25
  • 凤凰好书榜∣第46周周榜 2019-04-24
  • 不断的烧钱和融资 共享单车这门“生意”将走到哪里 2019-04-24
  • 在“街角博物馆”中找寻来自唐朝的“雕刻时光” 2019-04-21
  • 流口水!重庆百家宴香气四溢 三千多人齐聚庆新年 2019-04-20
  • 广州市增城区人民法院公告专栏 2019-04-17
  • 六一儿童节 盘点小朋友爱玩的“爆款”游戏 2019-04-17
  • 公安部超提气短视频:此生无悔披战甲 来世还要做警察 2019-04-12
  • 家国情怀·天人和谐·文化自信——从端午文化看民族精神传承 2019-04-12
  • 苏州平江路,市中心的历史古迹!文章中国国家地理网 2019-04-07
  • 榕城监狱及时调解服刑人员家属建房纠纷 2019-04-07
  • 天道不一定酬所有勤
    但是,天道只酬勤

    快3上海开奖结果查询:Java 8 Stream的性能到底如何?

    开发十年,就只剩下这套架构体系了??!

    上海的时时乐中奖号码 www.evoiv.com 之前的文章中我们介绍了Java 8中Stream相关的API,我们提到Stream API可以极大提高Java程序员的生产力,让程序员写出高效率、干净、简洁的代码。

    那么,Stream API的性能到底如何呢,代码整洁的背后是否意味着性能的损耗呢?本文我们对Stream API的性能一探究竟。

    为保证测试结果真实可信,我们将JVM运行在-server模式下,测试数据在GB量级,测试机器采用常见的商用服务器,配置如下:

    OS CentOS 6.7 x86_64
    CPU Intel Xeon X5675, 12M Cache 3.06 GHz, 6 Cores 12 Threads
    内存 96GB
    JDK java version 1.8.0_91, Java HotSpot(TM) 64-Bit Server VM

    测试方法和测试数据

    性能测试并不是容易的事,Java性能测试更费劲,因为虚拟机对性能的影响很大,JVM对性能的影响有两方面:

    1. GC的影响。GC的行为是Java中很不好控制的一块,为增加确定性,我们手动指定使用CMS收集器,并使用10GB固定大小的堆内存。具体到JVM参数就是-XX:+UseConcMarkSweepGC -Xms10G -Xmx10G
    2. JIT(Just-In-Time)即时编译技术。即时编译技术会将热点代码在JVM运行的过程中编译成本地代码,测试时我们会先对程序预热,触发对测试函数的即时编译。相关的JVM参数是-XX:CompileThreshold=10000。

    Stream并行执行时用到ForkJoinPool.commonPool()得到的线程池,为控制并行度我们使用Linux的taskset命令指定JVM可用的核数。

    测试数据由程序随机生成。为防止一次测试带来的抖动,测试4次求出平均时间作为运行时间。

    实验一 基本类型迭代

    测试内容:找出整型数组中的最小值。对比for循环外部迭代和Stream API内部迭代性能。

    测试程序代码:

    /**
     * java -server -Xms10G -Xmx10G -XX:+PrintGCDetails 
     * -XX:+UseConcMarkSweepGC -XX:CompileThreshold=1000 lee/IntTest
     * taskset -c 0-[0,1,3,7] java ...
     * @author CarpenterLee
     */
    public class IntTest {
    
        public static void main(String[] args) {
            new IntTest().doTest();
        }
        public void doTest(){
            warmUp();
            int[] lengths = {
                    10000, 
                    100000, 
                    1000000, 
                    10000000, 
                    100000000, 
                    1000000000
                };
            for(int length : lengths){
                System.out.println(String.format("---array length: %d---", length));
                int[] arr = new int[length];
                randomInt(arr);
    
                int times = 4;
                int min1 = 1;
                int min2 = 2;
                int min3 = 3;
                long startTime;
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    min1 = minIntFor(arr);
                }
                TimeUtil.outTimeUs(startTime, "minIntFor time:", times);
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    min2 = minIntStream(arr);
                }
                TimeUtil.outTimeUs(startTime, "minIntStream time:", times);
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    min3 = minIntParallelStream(arr);
                }
                TimeUtil.outTimeUs(startTime, "minIntParallelStream time:", times);
    
    
                System.out.println(min1==min2 && min2==min3);
            }
        }
        private void warmUp(){
            int[] arr = new int[100];
            randomInt(arr);
            for(int i=0; i<20000; i++){
    //          minIntFor(arr);
                minIntStream(arr);
                minIntParallelStream(arr);
    
            }
        }
        private int minIntFor(int[] arr){
            int min = Integer.MAX_VALUE;
            for(int i=0; i<arr.length; i++){
                if(arr[i]<min)
                    min = arr[i];
            }
            return min;
        }
        private int minIntStream(int[] arr){
            return Arrays.stream(arr).min().getAsInt();
        }
        private int minIntParallelStream(int[] arr){
            return Arrays.stream(arr).parallel().min().getAsInt();
        }
        private void randomInt(int[] arr){
            Random r = new Random();
            for(int i=0; i<arr.length; i++){
                arr[i] = r.nextInt();
            }
        }
    }
    

    测试结果如下图:

    图中展示的是for循环外部迭代耗时为基准的时间比值。分析如下:

    1. 对于基本类型Stream串行迭代的性能开销明显高于外部迭代开销(两倍);
    2. Stream并行迭代的性能比串行迭代和外部迭代都好。

    并行迭代性能跟可利用的核数有关,上图中的并行迭代使用了全部12个核,为考察使用核数对性能的影响,我们专门测试了不同核数下的Stream并行迭代效果:

    分析,对于基本类型:

    1. 使用Stream并行API在单核情况下性能很差,比Stream串行API的性能还差;
    2. 随着使用核数的增加,Stream并行效果逐渐变好,比使用for循环外部迭代的性能还好。

    以上两个测试说明,对于基本类型的简单迭代,Stream串行迭代性能更差,但多核情况下Stream迭代时性能较好。

    实验二 对象迭代

    再来看对象的迭代效果。

    测试内容:找出字符串列表中最小的元素(自然顺序),对比for循环外部迭代和Stream API内部迭代性能。

    测试程序代码:

    /**
     * java -server -Xms10G -Xmx10G -XX:+PrintGCDetails 
     * -XX:+UseConcMarkSweepGC -XX:CompileThreshold=1000 lee/StringTest
     * taskset -c 0-[0,1,3,7] java ...
     * @author CarpenterLee
     */
    public class StringTest {
    
        public static void main(String[] args) {
            new StringTest().doTest();
        }
        public void doTest(){
            warmUp();
            int[] lengths = {
                    10000, 
                    100000, 
                    1000000, 
                    10000000, 
                    20000000, 
                    40000000
                };
            for(int length : lengths){
                System.out.println(String.format("---List length: %d---", length));
                ArrayList<String> list = randomStringList(length);
                int times = 4;
                String min1 = "1";
                String min2 = "2";
                String min3 = "3";
                long startTime;
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    min1 = minStringForLoop(list);
                }
                TimeUtil.outTimeUs(startTime, "minStringForLoop time:", times);
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    min2 = minStringStream(list);
                }
                TimeUtil.outTimeUs(startTime, "minStringStream time:", times);
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    min3 = minStringParallelStream(list);   
                }
                TimeUtil.outTimeUs(startTime, "minStringParallelStream time:", times);
    
                System.out.println(min1.equals(min2) && min2.equals(min3));
    //          System.out.println(min1);
            }
        }
        private void warmUp(){
            ArrayList<String> list = randomStringList(10);
            for(int i=0; i<20000; i++){
                minStringForLoop(list);
                minStringStream(list);
                minStringParallelStream(list);
    
            }
        }
        private String minStringForLoop(ArrayList<String> list){
            String minStr = null;
            boolean first = true;
            for(String str : list){
                if(first){
                    first = false;
                    minStr = str;
                }
                if(minStr.compareTo(str)>0){
                    minStr = str;
                }
            }
            return minStr;
        }
        private String minStringStream(ArrayList<String> list){
            return list.stream().min(String::compareTo).get();
        }
        private String minStringParallelStream(ArrayList<String> list){
            return list.stream().parallel().min(String::compareTo).get();
        }
        private ArrayList<String> randomStringList(int listLength){
            ArrayList<String> list = new ArrayList<>(listLength);
            Random rand = new Random();
            int strLength = 10;
            StringBuilder buf = new StringBuilder(strLength);
            for(int i=0; i<listLength; i++){
                buf.delete(0, buf.length());
                for(int j=0; j<strLength; j++){
                    buf.append((char)('a'+rand.nextInt(26)));
                }
                list.add(buf.toString());
            }
            return list;
        }
    }
    

    测试结果如下图:

    结果分析如下:

    1. 对于对象类型Stream串行迭代的性能开销仍然高于外部迭代开销(1.5倍),但差距没有基本类型那么大。
    2. Stream并行迭代的性能比串行迭代和外部迭代都好。

    再来单独考察Stream并行迭代效果:

    分析,对于对象类型:

    1. 使用Stream并行API在单核情况下性能比for循环外部迭代差;
    2. 随着使用核数的增加,Stream并行效果逐渐变好,多核带来的效果明显。

    以上两个测试说明,对于对象类型的简单迭代,Stream串行迭代性能更差,但多核情况下Stream迭代时性能较好。

    实验三 复杂对象归约

    从实验一、二的结果来看,Stream串行执行的效果都比外部迭代差(很多),是不是说明Stream真的不行了?先别下结论,我们再来考察一下更复杂的操作。

    测试内容:给定订单列表,统计每个用户的总交易额。对比使用外部迭代手动实现和Stream API之间的性能。

    我们将订单简化为<userName, price, timeStamp>构成的元组,并用Order对象来表示。

    测试程序代码:

    /**
     * java -server -Xms10G -Xmx10G -XX:+PrintGCDetails 
     * -XX:+UseConcMarkSweepGC -XX:CompileThreshold=1000 lee/ReductionTest
     * taskset -c 0-[0,1,3,7] java ...
     * @author CarpenterLee
     */
    public class ReductionTest {
    
        public static void main(String[] args) {
            new ReductionTest().doTest();
        }
        public void doTest(){
            warmUp();
            int[] lengths = {
                    10000, 
                    100000, 
                    1000000, 
                    10000000, 
                    20000000, 
                    40000000
                };
            for(int length : lengths){
                System.out.println(String.format("---orders length: %d---", length));
                List<Order> orders = Order.genOrders(length);
                int times = 4;
                Map<String, Double> map1 = null;
                Map<String, Double> map2 = null;
                Map<String, Double> map3 = null;
    
                long startTime;
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    map1 = sumOrderForLoop(orders);
                }
                TimeUtil.outTimeUs(startTime, "sumOrderForLoop time:", times);
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    map2 = sumOrderStream(orders);
                }
                TimeUtil.outTimeUs(startTime, "sumOrderStream time:", times);
    
                startTime = System.nanoTime();
                for(int i=0; i<times; i++){
                    map3 = sumOrderParallelStream(orders);  
                }
                TimeUtil.outTimeUs(startTime, "sumOrderParallelStream time:", times);
    
                System.out.println("users=" + map3.size());
    
            }
        }
        private void warmUp(){
            List<Order> orders = Order.genOrders(10);
            for(int i=0; i<20000; i++){
                sumOrderForLoop(orders);
                sumOrderStream(orders);
                sumOrderParallelStream(orders);
    
            }
        }
        private Map<String, Double> sumOrderForLoop(List<Order> orders){
            Map<String, Double> map = new HashMap<>();
            for(Order od : orders){
                String userName = od.getUserName();
                Double v; 
                if((v=map.get(userName)) != null){
                    map.put(userName, v+od.getPrice());
                }else{
                    map.put(userName, od.getPrice());
                }
            }
            return map;
        }
        private Map<String, Double> sumOrderStream(List<Order> orders){
            return orders.stream().collect(
                    Collectors.groupingBy(Order::getUserName, 
                            Collectors.summingDouble(Order::getPrice)));
        }
        private Map<String, Double> sumOrderParallelStream(List<Order> orders){
            return orders.parallelStream().collect(
                    Collectors.groupingBy(Order::getUserName, 
                            Collectors.summingDouble(Order::getPrice)));
        }
    }
    class Order{
        private String userName;
        private double price;
        private long timestamp;
        public Order(String userName, double price, long timestamp) {
            this.userName = userName;
            this.price = price;
            this.timestamp = timestamp;
        }
        public String getUserName() {
            return userName;
        }
        public double getPrice() {
            return price;
        }
        public long getTimestamp() {
            return timestamp;
        }
        public static List<Order> genOrders(int listLength){
            ArrayList<Order> list = new ArrayList<>(listLength);
            Random rand = new Random();
            int users = listLength/200;// 200 orders per user
            users = users==0 ? listLength : users;
            ArrayList<String> userNames = new ArrayList<>(users);
            for(int i=0; i<users; i++){
                userNames.add(UUID.randomUUID().toString());
            }
            for(int i=0; i<listLength; i++){
                double price = rand.nextInt(1000);
                String userName = userNames.get(rand.nextInt(users));
                list.add(new Order(userName, price, System.nanoTime()));
            }
            return list;
        }
        @Override
        public String toString(){
            return userName + "::" + price;
        }
    }
    

    测试结果如下图:

    分析,对于复杂的归约操作:

    1. Stream API的性能普遍好于外部手动迭代,并行Stream效果更佳;

    再来考察并行度对并行效果的影响,测试结果如下:

    分析,对于复杂的归约操作:

    1. 使用Stream并行归约在单核情况下性能比串行归约以及手动归约都要差,简单说就是最差的;
    2. 随着使用核数的增加,Stream并行效果逐渐变好,多核带来的效果明显。

    以上两个实验说明,对于复杂的归约操作,Stream串行归约效果好于手动归约,在多核情况下,并行归约效果更佳。我们有理由相信,对于其他复杂的操作,Stream API也能表现出相似的性能表现。

    结论

    上述三个实验的结果可以总结如下:

    1. 对于简单操作,比如最简单的遍历,Stream串行API性能明显差于显示迭代,但并行的Stream API能够发挥多核特性。
    2. 对于复杂操作,Stream串行API性能可以和手动实现的效果匹敌,在并行执行时Stream API效果远超手动实现。

    所以,如果出于性能考虑,1. 对于简单操作推荐使用外部迭代手动实现,2. 对于复杂操作,推荐使用Stream API, 3. 在多核情况下,推荐使用并行Stream API来发挥多核优势,4.单核情况下不建议使用并行Stream API。

    如果出于代码简洁性考虑,使用Stream API能够写出更短的代码。即使是从性能方面说,尽可能的使用Stream API也另外一个优势,那就是只要Java Stream类库做了升级优化,代码不用做任何修改就能享受到升级带来的好处。

    (全文完) 欢迎关注『Java之道』微信公众号
    赞(12)
    如未加特殊说明,此网站文章均为原创,转载必须注明出处。上海的时时乐中奖号码 » Java 8 Stream的性能到底如何?
    分享到: 更多 (0)

    评论 2

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址
    1. #1

      这个for等同于冒泡排序啊

      haha杠精3周前 (05-07)回复
    2. #2

      “结论
      上述三个实验的结果可以总结如下:
      对于简单操作,比如最简单的遍历,Stream串行API性能明显差于显示迭代”
      中的“显示迭代”,是否应改为“显式迭代”
      by the way, 公众号越来越好,越来越热闹,真是一大喜事。

      henry2周前 (05-14)回复

    HollisChuang's Blog

    联系我关于我
  • 互联网新闻信息服务许可证 2019-05-05
  • 党史人物纪念馆(封面) 2019-05-03
  • 西班牙爱维华葡萄酒:你深藏闺中,却被我发现葡萄酒 经理 2019-04-25
  • 赋予妇女更多权利!沙特首次向女性发驾照 2019-04-25
  • 张德江:必须毫不动摇坚持、与时俱进完善人民代表大会制度 2019-04-25
  • 凤凰好书榜∣第46周周榜 2019-04-24
  • 不断的烧钱和融资 共享单车这门“生意”将走到哪里 2019-04-24
  • 在“街角博物馆”中找寻来自唐朝的“雕刻时光” 2019-04-21
  • 流口水!重庆百家宴香气四溢 三千多人齐聚庆新年 2019-04-20
  • 广州市增城区人民法院公告专栏 2019-04-17
  • 六一儿童节 盘点小朋友爱玩的“爆款”游戏 2019-04-17
  • 公安部超提气短视频:此生无悔披战甲 来世还要做警察 2019-04-12
  • 家国情怀·天人和谐·文化自信——从端午文化看民族精神传承 2019-04-12
  • 苏州平江路,市中心的历史古迹!文章中国国家地理网 2019-04-07
  • 榕城监狱及时调解服刑人员家属建房纠纷 2019-04-07
  • 福利彩票3d开奖结果 河南481玩法介绍 足彩第15152期分析 pk10稳赚追号方法 pk10100本金滚雪球30天 内蒙古时时彩五星图 七乐彩开奘结果 四海数码2003彩票论坛 大乐透历史开奖号码 澳洲幸运8技巧 北京快乐8官网 3d走势图彩吧助手 重庆幸运农场选一技巧 河北时时彩在线投注 免费老时时彩彩票软件 福彩极速快3规律