Trung tâm cá nhân
cuốn sách gpt4 ai đã làm

Ứng dụng Slow Spark - java

In lại Tác giả: Vũ trụ không gian Thời gian cập nhật: 2023-11-04 10:13:08 hai mươi bốn 4
mua khóa gpt4 Nike

Tôi đang cố gắng tạo một ứng dụng Spark có vĩ độ,dài,dấu thời gian tập dữ liệu điểm và tăng số lượng ô nếu chúng nằm trong các ô lưới. Lưới bao gồm các ô 3d, với lớn,vĩ độ Và time như trục z.

Bây giờ tôi đã hoàn thành ứng dụng, nó sẽ thực hiện những gì cần làm nhưng việc quét toàn bộ tập dữ liệu (~9g) sẽ mất hàng giờ. Cụm của tôi bao gồm 3 nút với mỗi nút 4 lõi và mỗi nút 8g bộ nhớ, tôi hiện đang sử dụng 6 trình thực thi với 1 lõi và 2g mỗi lõi.

Tôi đoán là tôi có thể tối ưu hóa mã khá nhiều, nhưng có lỗi lớn nào trong mã của tôi gây ra sự chậm trễ này không?

    // Tạo một JavaPairRDD với các phần tử bộ dữ liệu. Đối với mỗi dòng Chuỗi, chúng tôi chia chuỗi. 
// và gán vĩ độ, kinh độ và dấu thời gian của từng dòng cho sdx,sdy và sdt. 
// dòng đó được chứa trong một ô của danh sách centroid. Nếu đúng như vậy thì một bộ dữ liệu mới sẽ được trả về.
// với khóa vĩ độ, kinh độ và dấu thời gian (chia cho ",") của ô đó và giá trị 1.

    Cặp JavaPairRDD =lines.mapToPair(x -> {


        Chuỗi sdx = x.split(" ")[2];
        Chuỗi sdy = x.split(" ")[3];
        Chuỗi sdt = x.split(" ")[0];

        double dx = Double.parseDouble(sdx);
        double dy = Double.parseDouble(sdy);
        int dt = Integer.parseInt(sdt);

        Danh sách t = brTime.getValue();
        Danh sách p = brCoo.getValue();

        double dist = brDist.getValue();
        int dur = brDuration.getValue();

        for(int timeCounter=0; timeCounter
            for ( int cooCounter=0; cooCounter < p.size(); cooCounter++) {

                double cx = p.get(cooCounter).getX();
                double cy = p.get(cooCounter).getY();
                int ct = t.get(timeCounter);

                Chuỗi scx = Double.toString(cx);
                Chuỗi scy = Double.toString(cy);
                Chuỗi sct = Integer.toString(ct);

                if (dx > (cx-dist) && dx <= (cx+dist)) {
                    if (dy > (cy-dist) && dy <= (cy+dist)) {
                        if (dt > (ct-dur) && dt <= (ct+dur)) {

                            return new Tuple2(scx+","+scy+","+sct,1);
                        }
                    }
                }
            }
        }
        return new Tuple2("Out Of Bounds",1);
    });

câu trả lời hay nhất

Hãy thử sử dụng mapPartitions, cách này sẽ nhanh hơn, hãy xem liên kết ví dụ này; một việc khác cần làm là đặt phần mã này bên ngoài vòng lặp timeCounter

Về java - ứng dụng Spark chậm - java, chúng tôi tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/52074666/

hai mươi bốn 4 0
Bài viết khuyến nghị: android — Lưu vị trí chuột đầu tiên trong khi 'mouseDragged'
Bài viết khuyến nghị: linux - Cách cho QtCreator và QMake biết nơi tìm thư viện Qt x86 32 bit
Bài viết khuyến nghị: linux - Bash và conda : Cài đặt các gói không phải conda trong môi trường conda với tập lệnh bash thực thi
Bài viết khuyến nghị: Biểu thức chính quy cho inet addr không thành công
không gian vũ trụ
Hồ sơ

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá taxi Didi miễn phí
Phiếu giảm giá taxi Didi
Các bài viết phổ biến trên toàn bộ trang web
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress