31
4
CFSDN nhấn mạnh vào việc tạo ra giá trị thông qua mã nguồn mở. Chúng tôi cam kết xây dựng một nền tảng chia sẻ tài nguyên để mọi người làm CNTT có thể tìm thấy thế giới tuyệt vời của riêng mình tại đây.
Bài đăng trên blog CFSDN này là hướng dẫn xây dựng cụm Hadoop có tính khả dụng cao dựa trên ZooKeeper. Tác giả đã thu thập và biên soạn hướng dẫn. Nếu bạn quan tâm đến bài viết này, vui lòng thích nó.
.
Hadoop high availability được chia thành HDFS high availability và YARN high availability. Việc triển khai hai loại này về cơ bản là giống nhau, nhưng HDFS NameNode có yêu cầu cao hơn nhiều về lưu trữ dữ liệu và tính nhất quán so với YARN ResourceManager, do đó việc triển khai của nó phức tạp hơn. Do đó, chúng tôi sẽ giải thích trước:
1.1 Kiến trúc tổng thể có tính khả dụng cao.
Kiến trúc tính khả dụng cao của HDFS như sau:
Hình ảnh được trích dẫn từ: https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/.
Kiến trúc tính khả dụng cao của HDFS chủ yếu bao gồm các thành phần sau:
1.2 Phân tích cơ chế đồng bộ dữ liệu của hệ thống lưu trữ chia sẻ dựa trên qjm.
Hiện tại, Hadoop hỗ trợ sử dụng trình quản lý nhật ký số (qjm) hoặc hệ thống tệp mạng (nfs) làm hệ thống lưu trữ chia sẻ. Ở đây, chúng tôi lấy cụm qjm làm ví dụ: nút tên hoạt động trước tiên gửi nhật ký chỉnh sửa đến cụm nút tên nhật ký, sau đó nút tên dự phòng đồng bộ hóa nhật ký chỉnh sửa từ cụm nút tên nhật ký theo định kỳ. Khi nút tên hoạt động ngừng hoạt động, nút tên dự phòng có thể cung cấp các dịch vụ bên ngoài sau khi xác nhận rằng siêu dữ liệu đã được đồng bộ hóa hoàn toàn.
Cần lưu ý rằng việc ghi editlog vào cụm journalnode tuân theo chiến lược "thành công nếu hơn một nửa số mục được ghi", do đó bạn phải có ít nhất 3 nút journalnode. Tất nhiên, bạn có thể tiếp tục tăng số lượng nút, nhưng tổng số nút phải là số lẻ. Đồng thời, nếu có 2n+1 journalnode, thì theo nguyên tắc ghi đa số, chỉ có thể chấp nhận tối đa n journalnode bị lỗi.
1.3 Chuyển đổi chủ/tớ của Namenode.
Quá trình thực hiện chuyển mạch chủ động/chờ của namenode được thể hiện trong hình bên dưới:
Sau khi healthmonitor được khởi tạo, nó sẽ bắt đầu một luồng nội bộ để định kỳ gọi phương thức giao diện rpc haserviceprotocol của namenode tương ứng để phát hiện trạng thái hoạt động của namenode.
Nếu healthmonitor phát hiện trạng thái hoạt động của namenode đã thay đổi, nó sẽ gọi lại phương thức tương ứng đã được zkfailovercontroller đăng ký để xử lý.
Nếu zkfailovercontroller xác định cần có công tắc chủ-tớ, trước tiên nó sẽ sử dụng activestandbyelector để tự động bầu chọn chủ-tớ.
ActiveStandbyElector tương tác với Zookeeper để hoàn tất việc bầu chọn chủ-tớ tự động.
Sau khi bộ bầu cử dự phòng chủ động hoàn tất cuộc bầu cử dự phòng chính, nó sẽ gọi lại phương thức tương ứng của zkfailovercontroller để thông báo cho namenode hiện tại trở thành namenode chính hoặc namenode dự phòng.
zkfailovercontroller gọi phương thức giao diện rpc haserviceprotocol của namenode tương ứng để chuyển đổi namenode sang trạng thái hoạt động hoặc trạng thái chờ.
1.4 YARN có tính khả dụng cao
Tính khả dụng cao của yarn resourcemanager tương tự như hdfs namenode, nhưng không giống như namenode, resourcemanager không có nhiều thông tin siêu dữ liệu để duy trì, do đó thông tin trạng thái của nó có thể được ghi trực tiếp vào zookeeper và dựa vào zookeeper để bầu chọn chủ-tớ.
.
Theo mục tiêu thiết kế tính khả dụng cao: cần đảm bảo có ít nhất hai namenode (một hoạt động và một dự phòng) và hai resourcemanager (một hoạt động và một dự phòng). Đồng thời, để đáp ứng nguyên tắc "hơn một nửa số lần ghi thành công", phải có ít nhất 3 nút journalnode. Có ba máy chủ được sử dụng ở đây để xây dựng và quy hoạch cụm như sau:
.
.
4.1 Tải xuống và giải nén.
Tải hadoop. Ở đây tôi tải xuống phiên bản cdh của hadoop, địa chỉ tải xuống là: http://archive.cloudera.com/cdh5/cdh/5/.
|
1
|
# tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz
|
4.2 Cấu hình biến môi trường.
Chỉnh sửa tệp hồ sơ:
|
1
|
# vim /etc/profile
|
Thêm cấu hình sau:
|
1
2
|
xuất hadoop_home=/usr/app/hadoop-2.6.0-cdh5.15.2
đường dẫn xuất khẩu = $ {hadoop_home} / bin: $ đường dẫn
|
Thực hiện lệnh nguồn để cấu hình có hiệu lực ngay lập tức:
|
1
|
# nguồn /etc/profile
|
4.3 Sửa đổi cấu hình.
Đi tới thư mục ${hadoop_home}/etc/hadoop và sửa đổi tệp cấu hình. Nội dung của mỗi tệp cấu hình như sau:
|
1
2
|
#Chỉ định vị trí cài đặt jdk
xuất java_home=/usr/java/jdk1.8.0_201/
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
hai mươi mốt
hai mươi hai
|
<
tên
>fs.mặc địnhfs
tên
>
<
tên
>hadoop.tmp.dir
tên
>
<
tên
>ha.zookeeper.quorum
tên
>
<
tên
>ha.zookeeper.session-timeout.ms
tên
>
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
hai mươi mốt
hai mươi hai
hai mươi ba
hai mươi bốn
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
|
<
tên
>dfs.replication
tên
>
<
tên
>dfs.namenode.
tên
.dir
tên
>
<
tên
>dfs.datanode.data.dir
tên
>
<
tên
>dfs.nameservices
tên
>
<
tên
>dfs.ha.namenodes.mycluster
tên
>
<
tên
>dfs.namenode.rpc-address.mycluster.nn1
tên
>
<
tên
>dfs.namenode.rpc-address.mycluster.nn2
tên
>
<
tên
>dfs.namenode.http-address.mycluster.nn1
tên
>
<
tên
>dfs.namenode.http-address.mycluster.nn2
tên
>
<
tên
>dfs.namenode.shared.edits.dir
tên
>
<
tên
>dfs.journalnode.edits.dir
tên
>
<
tên
>dfs.ha.fencing.methods
tên
>
<
tên
>dfs.ha.fencing.ssh.private-
chìa khóa
-tập tin
tên
>
<
tên
>dfs.ha.fencing.ssh.
kết nối
-hết giờ
tên
>
<
tên
>dfs.client.failover.proxy.provider.mycluster
tên
>
<
tên
>dfs.ha.automatic-failover.enabled
tên
>
ĐÚNG VẬY
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
hai mươi mốt
hai mươi hai
hai mươi ba
hai mươi bốn
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
|
<
tên
>yarn.nodemanager.aux-services
tên
>
<
tên
>yarn.log-aggregation-enable
tên
>
ĐÚNG VẬY
<
tên
>yarn.log-aggregation.retain-giây
tên
>
<
tên
>yarn.resourcemanager.ha.enabled
tên
>
ĐÚNG VẬY
<
tên
>yarn.resourcemanager.cluster-id
tên
>
<
tên
>yarn.resourcemanager.ha.rm-ids
tên
>
<
tên
>yarn.resourcemanager.hostname.rm1
tên
>
<
tên
>yarn.resourcemanager.hostname.rm2
tên
>
<
tên
>yarn.resourcemanager.webapp.address.rm1
tên
>
<
tên
>yarn.resourcemanager.webapp.address.rm2
tên
>
<
tên
>yarn.resourcemanager.zk-địa chỉ
tên
>
<
tên
>yarn.resourcemanager.recovery.enabled
tên
>
ĐÚNG VẬY
<
tên
>yarn.resourcemanager.store.class
tên
>
|
|
1
2
3
4
5
6
7
|
<
tên
>mapreduce.framework.
tên
tên
>
|
Cấu hình tên máy chủ hoặc địa chỉ IP của tất cả các nút phụ, mỗi nút một dòng. Dịch vụ datanode và dịch vụ nodemanager trên tất cả các nút phụ sẽ được khởi động.
|
1
2
3
|
hadoop001
hadoop002
hadoop003
|
4.4 Thủ tục phân phối.
Phân phối gói cài đặt hadoop cho hai máy chủ khác. Sau khi phân phối, nên cấu hình các biến môi trường hadoop trên hai máy chủ này.
|
1
2
3
4
|
# Phân phối gói cài đặt cho hadoop002
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop002:/usr/app/
# Phân phối gói cài đặt cho hadoop003
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop003:/usr/app/
|
.
5.1 Khởi động ZooKeeper.
Khởi động dịch vụ zookeeper trên ba máy chủ tương ứng:
|
1
|
zkserver.sh bắt đầu
|
5.2 Khởi động journalnode.
Đi tới thư mục ${hadoop_home}/sbin của ba máy chủ tương ứng và bắt đầu quy trình journalnode:
|
1
|
hadoop-daemon.sh bắt đầu journalnode
|
5.3 Khởi tạo namenode.
Thực hiện lệnh khởi tạo namenode trên hadop001:
|
1
|
hdfs namenode -format
|
Sau khi thực hiện lệnh khởi tạo, bạn cần sao chép nội dung của thư mục siêu dữ liệu namenode sang các namenode chưa định dạng khác. Thư mục lưu trữ siêu dữ liệu là thư mục chúng tôi đã chỉ định bằng thuộc tính dfs.namenode.name.dir trong hdfs-site.xml. Ở đây chúng ta cần sao chép nó vào hadoop002:
|
1
|
scp -r /home/hadoop/namenode/dữ liệu hadoop002:/home/hadoop/namenode/
|
5.4 Khởi tạo trạng thái ha.
Sử dụng lệnh sau trên bất kỳ namenode nào để khởi tạo trạng thái ha trong zookeeper:
|
1
|
hdfs zkfc -formatzk
|
5.5 Khởi động hdfs.
Đi tới thư mục ${hadoop_home}/sbin của hadoop001 và khởi động hdfs. Tại thời điểm này, các dịch vụ namenode trên hadoop001 và hadoop002, và các dịch vụ datanode trên ba máy chủ sẽ được khởi động:
|
1
|
bắt đầu-dfs.sh
|
5.6 Bắt đầu sợi len.
Đi tới thư mục ${hadoop_home}/sbin của hadoop002 và khởi động yarn. Vào thời điểm này, dịch vụ resourcemanager trên hadoop002 và dịch vụ nodemanager trên ba máy chủ sẽ được khởi động:
|
1
|
bắt đầu-yarn.sh
|
Cần lưu ý rằng dịch vụ resourcemanager trên hadoop003 thường không được khởi động vào thời điểm này và cần phải được khởi động thủ công:
|
1
|
yarn-daemon.sh khởi động trình quản lý tài nguyên
|
.
6.1 Xem quy trình.
Sau khi khởi động thành công, quy trình trên mỗi máy chủ sẽ như sau:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
hai mươi mốt
hai mươi hai
hai mươi ba
hai mươi bốn
25
|
[root@hadoop001 sbin]# jps
4512 dfszkfailovercontroller
3714 nhật kýnode
4114 nút tên
3668 số đại biểu chính
5012 nút dữ liệu
4639 người quản lý nút
[root@hadoop002 sbin]# jps
4499 quản lý tài nguyên
4595 người quản lý nút
3465 quorumpeermain
3705 nút tên
3915 dfszkfailovercontroller
5211 nút dữ liệu
3533 nhật kýnode
[root@hadoop003 sbin]# jps
3491 nhật kýnode
3942 quản lý nút
4102 quản lý tài nguyên
4201 nút dữ liệu
3435 quorumpeermain
|
6.2 Xem giao diện web.
Số cổng của hdfs và yarn lần lượt là 50070 và 8080. Giao diện phải như sau:
Vào thời điểm này, namenode trên hadoop001 đang ở trạng thái khả dụng:
Namenode trên hadoop002 đang ở trạng thái chờ:
.
.
Trình quản lý tài nguyên trên hadoop002 đang ở trạng thái khả dụng:
.
.
Trình quản lý tài nguyên trên hadoop003 đang ở trạng thái chờ:
.
.
Đồng thời, giao diện cũng có thông tin liên quan về người quản lý tạp chí:
.
.
Quá trình khởi động ban đầu của cụm trên bao gồm một số hoạt động khởi tạo cần thiết, do đó quá trình này hơi phức tạp. Tuy nhiên, sau khi cụm được xây dựng, bạn có thể bật lại cụm đó. Các bước như sau (trước tiên hãy đảm bảo cụm zookeeper đã được khởi động):
Khởi động hdfs trong hadoop001. Lúc này, tất cả các dịch vụ liên quan đến tính khả dụng cao của hdfs sẽ được khởi động, bao gồm namenode, datanode và journalnode:
|
1
|
bắt đầu-dfs.sh
|
Bắt đầu yarn trong hadoop002:
|
1
|
bắt đầu-yarn.sh
|
Vào thời điểm này, dịch vụ resourcemanager trên hadoop003 thường không được khởi động và cần phải được khởi động thủ công:
|
1
|
yarn-daemon.sh khởi động trình quản lý tài nguyên
|
.
Các bước xây dựng ở trên chủ yếu được tham khảo từ tài liệu chính thức:
Tóm tắt.
Trên đây là sơ đồ hướng dẫn xây dựng cụm có tính khả dụng cao dựa trên ZooKeeper do biên tập viên giới thiệu. Tôi hy vọng nó sẽ hữu ích với mọi người. Nếu bạn có bất kỳ câu hỏi nào, vui lòng để lại tin nhắn cho tôi và biên tập viên sẽ trả lời bạn kịp thời. Cảm ơn bạn rất nhiều vì đã ủng hộ trang web của tôi! Nếu bạn thấy bài viết này hữu ích, bạn có thể đăng lại. Vui lòng ghi rõ nguồn. Cảm ơn bạn! .
Liên kết gốc: https://www.cnblogs.com/heibaiying/archive/2019/06/23/11071857.html.
Cuối cùng, bài viết này về sơ đồ hướng dẫn xây dựng cụm Hadoop có tính khả dụng cao dựa trên ZooKeeper đã kết thúc. Nếu bạn muốn biết thêm về sơ đồ hướng dẫn xây dựng cụm Hadoop có tính khả dụng cao dựa trên ZooKeeper, vui lòng tìm kiếm các bài viết CFSDN hoặc tiếp tục duyệt các bài viết liên quan. Tôi hy vọng bạn sẽ ủng hộ blog của tôi trong tương lai! .
31
4
0
Cách phát hiện máy tính có được kết nối/sẵn sàng sử dụng trong mạng hiện tại hay không. Tất nhiên nó có nhiều công dụng, nhưng mối quan tâm chính của tôi là ứng dụng của tôi sử dụng các tài nguyên nằm trong một máy tính cụ thể và nếu những tài nguyên đó không khả dụng, ứng dụng thậm chí sẽ không thử kết nối mà thay vào đó sẽ sử dụng các tài nguyên cục bộ. Câu trả lời tốt nhất bạn có thể thử
Yahoo khuyên bạn nên tải tập lệnh ở cuối trang HTML vì lý do hiệu suất. Tôi sử dụng HTML5 Boilerplate tuân thủ theo các quy tắc. Vấn đề với cách tiếp cận này là jQuery cũng
Tôi có một tình huống mà tôi cần hiển thị một thành phần chỉ cho quản trị viên chứ không phải người dùng thông thường. Nói rằng, // Thành phần này nên được hiển thị cho người dùng công cộng.
Tôi có một mảng, giả sử là ["a","b","c"], và tôi muốn biến nó thành một đối tượng có các giá trị mảng làm khóa và một giá trị mặc định mà tôi có thể đặt. Vì vậy, nếu giá trị mặc định là đúng, tôi muốn đầu ra của mình là {a:true, b:true, c:true
Tôi cho rằng việc tạo một PS-Drive mới trong một hàm sẽ khiến ổ đĩa đó chỉ có thể truy cập được trong hàm đó. Làm thế nào tôi có thể tạo ổ đĩa PS bằng cách gọi một hàm từ MAIN có thể truy cập được bằng hàm đó? $temporaryPSDriveName =
Bạn sẽ đề xuất thư viện kiểm soát .net nào là cần thiết cho một doanh nghiệp? Ít nhất thì phiên bản miễn phí/không miễn phí có thể bao gồm chức năng Ajax Datagrid thực sự mạnh mẽ không? Có bất kỳ so sánh nào không? Câu trả lời hay nhất Tôi đã sử dụng điều khiển Telerik ASP.NET
Giả sử tôi có một đoạn mã HTML như thế này: Mã Javascript Hello World: var fooBar = document.getElementById('fooBar'); fooBar.
Khi tôi bắt đầu triển khai plugin camera, tôi gặp lỗi sau trên ứng dụng Flutter của mình: [VERBOSE-2:dart_error.cc(16)] Ngoại lệ chưa được xử lý:
Tôi đang tự hỏi mình nên đặt countA ở đâu cho đúng vì tôi muốn số lượng được thêm vào mọi nút tôi tạo. Biến "count" ở đầu được dùng để tạo các nút mới và "countA" là số lượng tôi đang cố gắng khai báo, nhưng nó không biên dịch được. Đây là đoạn mã của tôi: Câu hỏi của tôi một lần nữa
Trong tài liệu trợ giúp Python, tôi thường thấy một dòng chữ ký có tên hàm và tên đối số, sau đó bạn sẽ thấy **kwarg (từ khóa đối số). danh sách? in ra chuỗi tài liệu trợ giúp: Init signature: list(self, /
Tôi mới làm quen với UWP và muốn biết sự khác biệt giữa "Flyout", "ContextFlyout" và "Popup". Ngoài ra, tôi muốn biết sự khác biệt giữa "AppBar" và "CommandBar". Tôi tin rằng chúng dùng để giữ thực đơn hoặc các mục thực đơn
Tôi muốn hiển thị danh sách các thiết bị Wifi khả dụng. Đây là mã của tôi, tôi không hiểu có gì sai ở đây: wifi = (WifiManager) getSystemService(Context.WIFI_SERVICE); i
Đây là mã của tôi: Random = function(name) { this.name = name; this.addSomething = function(a, b) {
Tôi muốn nút của mình hoạt hình liên tục cho đến khi người dùng chạm vào nó, đây là mã func animate() { UIView.animateWithDuration(1, animations: { () -> Void
Tôi đang tạo một máy chủ HTTP cho một dự án của lớp tôi đang theo học và tôi đã cố gắng tìm giải pháp trong một tuần nay. Tôi có một DataInputStream và tôi cần đợi máy khách gửi cho tôi một yêu cầu http, do kết nối phải duy trì kết nối
Tôi muốn tạo một tập lệnh bash để kiểm tra cổng nào trên máy chủ Linux của tôi đã đóng và không được sử dụng trong phạm vi cụ thể (phạm vi cổng (3000-3010)). Việc in ấn chỉ cần 1 cổng, nếu bạn lưu đầu ra dưới dạng một biến hoặc trong cùng một tệp,
Tôi đã viết thứ mà tôi nghĩ là một thiết bị tùy chỉnh tối thiểu để kiểm tra sự hiểu biết của tôi về QOM và QEMU nói chung. Sau đây là mã có liên quan đã bỏ qua phần bình luận. Thật không may, khi tôi khởi động máy khách và truyền tên thiết bị của tôi làm đối số dòng lệnh, nó không tìm thấy thiết bị của tôi và thoát.
Khi gọi một hàm Opencv, bạn thường cung cấp một hằng số cho lệnh gọi hàm, như: im_hsv = cv2.cvtColor(im, cv2.COLOR_BGR2HSV) Mặc dù tôi không thể tìm thấy tài liệu tham khảo cho tất cả các hằng số có sẵn. OpenCV
C++ đã chính thức được chuẩn hóa vào năm 1998, nhưng đã bao lâu rồi chúng ta mới có thể tìm thấy một lớp có tên là string trông giống như phiên bản tiền chuẩn của std::string trong C++2003? Tôi hỏi vì CString là
Có danh sách chính thức (hoặc có thể không) các lệnh git có tùy chọn --porcelain không? Hay tôi phải tự tìm từng lệnh trong danh sách lệnh porcelain? ? Tôi đã cố gắng sử dụng
Trung tâm cá nhân
Bài viết phát hành
từ bỏ
Tôi là một lập trình viên xuất sắc, rất giỏi!