26
4
Giả sử tôi có một ứng dụng tia lửa và có hai thao tác dẫn đến hai công việc tia lửa.
Trung tâm cá nhân
Điều phát hành
từ bỏ// ứng dụng tia lửa
//Spark Job1
....
errorCount.saveAsTextFile(errorCountOpPath);
// châm ngòi cho Job2
......
debugCount.saveAsTextFile(debCountOpPath);
Bây giờ giả sử chúng ta đã khởi động ứng dụng spark trên Yarn bằng lệnh spark commit. Việc 1 thành công, việc 2 thất bại.
Bây giờ tôi muốn chạy lại job2 vì nó thất bại.
Khi tôi cố gắng khởi động lại ứng dụng spark trên Yarn bằng lệnh spark submit, cả job1 và job2 đều được kích hoạt. Nhưng tôi không muốn job1 được kích hoạt vì nó đã hoàn thành thành công.
Có cách nào để đảm bảo rằng chỉ các công việc ứng dụng tia lửa không thành công mới được chạy không?
câu trả lời hay nhất
Bạn có thể kiểm tra lệnh gọi saveAsTextFile của mình như bên dưới: -
val conf = sc.hadoopConfiguration
val fs = org.apache.hadoop.fs.FileSystem.get(conf)
val tồn tại = fs.exists(new org.apache.hadoop.fs.Path("/path/on/hdfs/to/SUCCESS.txt"))
nếu(!tồn tại) {
// ghi tập tin
}
Về hadoop - Chạy lại công việc Spark không thành công trong ứng dụng Spark có nhiều thao tác (công việc), chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/42553832/
26
4
0
Câu hỏi này đã có câu trả lời ở đây: Phép thuật phương thức apply() của Scala hoạt động như thế nào? (3 câu trả lời) Đã đóng 9 năm trước. Giả sử tôi có một lớp MyList trong scala có
Câu hỏi này đã có câu trả lời ở đây: Nhóm không bắt giữ trong biểu thức chính quy là gì? (18 câu trả lời) Tham khảo - Làm gì
Câu hỏi này dành cho hệ thống nhúng! Tôi có các tùy chọn sau để khởi tạo một đối tượng: Object* o = new Object(arg); Thao tác này sẽ đặt đối tượng vào vùng nhớ heap và trả về một con trỏ tới nó. Tôi không thích sử dụng phân bổ động trong phần mềm nhúng. Ob
Tôi đã tự mình tìm kiếm các biểu thức thông thường nhưng không thành công. Tôi có một tệp html chứa các biến giữa [] và tôi muốn viết từng từ vào đó. [tên_khách_hàng][công_ty_khách_hàng] [cl
Tôi mới làm quen với Python. Tôi không hiểu tại sao mã này không hoạt động: reOptions = re.search( "[\s+@twitter\s+(?P\w+):(?P.*?)\s+]", d
Tôi hầu như chỉ lập trình bằng .NET C# trong khoảng 7 tháng qua. Trước đó, phần lớn chương trình của tôi là bằng C++ (học ở trường). Tại nơi làm việc, tôi có thể cần phải làm nhiều việc C trong vài tháng tới. Tôi quan tâm đến C
Tôi mới làm quen với RE và tôi đang cố gắng lấy lời bài hát và tách biệt tiêu đề lời bài hát, giọng hát đệm và giọng hát chính: Dưới đây là một số ví dụ về lời bài hát: [Intro] DA hiểu rồi [Điệp khúc: Travis Scott] Ic
Điều này có thể không thực hiện được, nhưng tôi muốn kiểm tra xem liệu có thể diễn đạt điều gì đó như thế này một cách đơn giản hay không: // rõ ràng là không hoạt động class Foo : IFoo Where T: Bar {
Chúng tôi có các thực thể "người dùng" và "nghiên cứu" trong ứng dụng của mình, được lưu trữ trong các bảng tương ứng. Một nghiên cứu đại diện cho một loại nghiên cứu và dữ liệu đã được thu thập. Chúng là mối quan hệ nhiều-nhiều, vì vậy chúng ta cần một bảng được liên kết: Studies_users. Chúng tôi chỉ định góc cho người dùng
Khi thêm các điều kiện kiểm tra vào Kiểm tra đơn vị cơ sở dữ liệu Visual Studio 2010 (dành cho SQL Server 2008), các điều kiện này được gọi, ví dụ: rowCountCondition1, rowCountConditio
Trên trình giả lập, tôi có thể ngắt kết nối thẻ SD khỏi cài đặt. Sau đó tôi có thể cài đặt nó trên hệ điều hành của mình và gỡ cài đặt bình thường. Tôi chưa thể tìm ra cách cài đặt lại nó trên trình giả lập (mà không cần khởi động lại). Mẹo: lệnh adb remount bị tắt
Giả sử một loạt các cam kết được thực hiện trên một nhánh, nhưng nhánh đó vẫn chưa được đồng bộ hóa lại với thân cây. Có thể tạo bản vá toàn cầu từ một cam kết không? Có thể tạo các bản vá "được nhóm" từ một loạt các cam kết không? Nếu có thì làm thế nào? Câu trả lời hay nhất svn diff -rXXX:YYY UR
Trong một số trường hợp, tôi muốn khóa chức năng thay đổi kích thước trong ứng dụng của mình, vì điều này, tôi đã cố gắng liên kết cơ sở dữ liệu thuộc tính và không cho phép thay đổi nó trong một số trường hợp, nhưng không thành công. Có cách nào để làm điều này? Đây là nỗ lực không thành công của tôi: XAML: Vie
Khi tôi có nhiều màn hình được kết nối với máy tính của mình, tôi có thể phát hiện và vẽ chúng dựa trên việc đặt vị trí thành các giá trị thu được từ get(0, 'MonitorPositions') Tuy nhiên, khi tôi ngắt kết nối màn hình trong khi MATLAB đang chạy, Điều này tài sản sẽ không
Chúng tôi có một ứng dụng grails lưu trữ các đối tượng miền khác nhau trong cơ sở dữ liệu grails. Ứng dụng kết nối với cơ sở dữ liệu thứ hai, chạy một số sql thô và hiển thị kết quả dưới dạng bảng. Về cơ bản nó là một máy chủ báo cáo. Chúng tôi sử dụng DataSo
Không thể so sánh các trình vòng lặp từ các vùng chứa khác nhau (xem ví dụ tại đây: https://stackoverflow.com/a/4664519/225186) (hoặc về mặt kỹ thuật thì nó không cần thiết phải có ý nghĩa.) Điều này đặt ra một câu hỏi khác, từ
Tôi gặp tình huống sau: ParentActivity : ParentActivityClass { ý định ý định riêng tư @Override public void onCreate(Bu
Tôi thường nối các phần tử với các hàm bổ sung, ví dụ: $('.myfav').autocomplete(); $('.myfav').datepicker();
Vì vậy, tôi đã sử dụng thư viện tooltipster.js cho chú giải công cụ và thử thay đổi khoảng cách mặc định của chú giải công cụ trên các kích thước màn hình khác nhau. Vì vậy, init mặc định trông như thế này: $(inputTooltipTrigger).tool
Tôi đang làm việc trong môi trường nhúng ARM7. Trình biên dịch tôi đang sử dụng không hỗ trợ đầy đủ chức năng C++. Một tính năng mà nó không hỗ trợ là chuyển đổi kiểu động. Có cách nào để triển khai Dynamic_cast<>() không? Tôi đã sử dụng Google để tìm mã nhưng
Tôi là một lập trình viên xuất sắc, rất giỏi!