Tôi chỉ muốn viết một bảng duy nhất và di chuyển các tập tin. Tốt nhất là dữ liệu không quá 100;.

1. Nền tảng kinh doanh

Gần đây tôi gặp phải tình huống như vậy: 1-2 ngày trước khi chính thức bắt đầu kinh doanh, một lô dữ liệu từ kênh hợp tác cần được nhập và sau khi chu kỳ kinh doanh kết thúc, lô dữ liệu đó sẽ được xuất và chuyển đến bữa tiệc kênh;

Hiểu một cách đơn giản là việc “nhập” và “xuất” dữ liệu;

Tuy nhiên, độ phức tạp của cảnh không nhất thiết liên quan đến độ phức tạp của quy trình triển khai và logic. Giữa việc "nhập" và "xuất" dữ liệu, thường có "logic nghiệp vụ" phức tạp;

Nếu dữ liệu chỉ được di chuyển qua lại giữa các tệp và bảng đơn lẻ thì giải pháp chỉ đơn giản là cầu kỳ. Tuy nhiên, khi nhập và xuất dữ liệu trong một ứng dụng, việc tích hợp các yêu cầu nghiệp vụ là cần thiết hơn và đương nhiên không thể bỏ qua logic xử lý nghiệp vụ. ;

2. Phân tích kịch bản

1. Đặc điểm của tài liệu.

Tệp: Loại "Excel" và tiêu đề có định dạng cố định. Mặc dù nội dung trường có yêu cầu nhưng không thể tránh khỏi những sai sót nhỏ;

Nội dung: Số lượng mục nằm trong "1000" và một phần dữ liệu có các trường "150+". Nó sẽ được xuất sau khi hoàn thành công việc kinh doanh và các trường liên quan đến kết quả và chi tiết kinh doanh sẽ được thêm vào và cuối cùng số sẽ ở khoảng trường "200";

2. Đặc điểm kinh doanh.

Sau khi tệp được nhập, khi dữ liệu được chuyển giữa các doanh nghiệp, cần xây dựng cấu trúc chính tương ứng, chẳng hạn như "tệp khách hàng" và "Thông tin chi tiết" cơ bản sẽ được tạo trong quá trình xử lý nghiệp vụ và "kết quả" sẽ được tạo sau khi quá trình xử lý hoàn tất;

3. Quy tắc dữ liệu.

[Hồ sơ khách hàng]

Trong quá trình nhập dữ liệu vào cơ sở dữ liệu, vấn đề "Thuộc tính khách hàng" cần được xác minh. Khách hàng đã có trong cơ sở dữ liệu thực hiện "Logic cập nhật" dựa trên "Thời gian theo dõi". và "Phân công nhân sự theo dõi"; .

【Hồ sơ kinh doanh】.

Theo logic của “Hồ sơ khách hàng”, nếu khách hàng cập nhật thì “Hồ sơ doanh nghiệp” sẽ được cập nhật; nếu khách hàng không cập nhật thì “Hồ sơ doanh nghiệp” sẽ không được cập nhật, nếu thêm khách hàng mới thì “Hồ sơ doanh nghiệp” sẽ không được cập nhật; " có thể được thêm trực tiếp;

[Xác minh dữ liệu].

Logic lưu kho của "tệp cơ bản" và "tệp kinh doanh" của khách hàng tuân thủ đầy đủ các quy tắc hạn chế hiện có của hệ thống sản phẩm và cố gắng đưa ra các lý do chặn toàn diện trong quá trình chặn logic để tạo điều kiện cho nhân viên kinh doanh sửa đổi và điều chỉnh dữ liệu tệp;

3. Thiết kế quy trình

1. Quy trình kinh doanh

Toàn bộ quy trình kinh doanh có thể được chia thành bốn phần: xác nhận hành động, giám sát hành động, xử lý dữ liệu và xử lý kinh doanh;.

[Xác nhận hành động].

• Giao diện người dùng của ứng dụng "Nhập" hoàn tất quá trình xử lý tải tệp lên OSS và gửi yêu cầu nhập dữ liệu đến giao diện phụ trợ của ứng dụng. Sau khi nhận được yêu cầu, nó sẽ được xử lý không đồng bộ;
• "Tải xuống bản ghi ngoại lệ" sẽ phản hồi theo thời gian thực. Về mặt chức năng, đây là một lần xuất bảng duy nhất, cần trả về thông tin ngoại lệ và chặn hoạt động kinh doanh;
• Do thời gian giao hàng không chắc chắn, việc "xuất" được nhân viên kinh doanh kích hoạt thủ công. Sau khi quá trình lắp ráp back-end hoàn tất, nó sẽ được gửi đến máy chủ tệp OSS và chờ tải xuống;

[Giám sát hành động].

• Giám sát hành động "Nhập" và "Xuất", từ đó kích hoạt logic quy trình tương ứng;

[Xử lý dữ liệu].

• "Hồ sơ khách hàng" được gửi đến bộ phận dịch vụ khách hàng để xử lý. Nếu quá trình xử lý không thành công, quy trình kinh doanh không thể được xây dựng xung quanh khách hàng và toàn bộ quy trình sẽ bị gián đoạn trực tiếp;
• "Tệp nghiệp vụ" được gửi đến quá trình xử lý dịch vụ nghiệp vụ, trong đó đề cập đến thông tin dữ liệu thuộc tính nghiệp vụ chứ không phải quy trình hiện trường;

【Xử lý kinh doanh】.

• Mục đích thực sự của việc "nhập dữ liệu" phụ thuộc vào khả năng xử lý của hệ thống để triển khai quy trình kinh doanh tương ứng, trong đó các chi tiết chính và dữ liệu kết quả sẽ được tạo ra;

2. Quy trình nhập khẩu

• [1] Phần phụ trợ của ứng dụng nhận được yêu cầu "nhập" do người dùng gửi và phản hồi ngay sau khi nhận được hành động thành công;
• [2] Sau khi hoàn thành việc lưu trữ các bản ghi "nhập", quá trình xử lý dữ liệu tệp được tách riêng thông qua hàng đợi tin nhắn MQ;
• [3] Phân tích tệp, đọc dữ liệu nguồn và lưu trữ vào bảng chi tiết;
• [4] Duyệt qua dữ liệu chi tiết để thực hiện việc lưu trữ tệp tương ứng của "Khách hàng" và "Doanh nghiệp". Tại đây, lý do thất bại sẽ được ghi lại vào hồ sơ chi tiết ở mức tối đa để tạo điều kiện thuận lợi cho việc nhập khẩu thứ cấp của doanh nghiệp;
• [5] Sau khi hoàn tất việc nhập dữ liệu vào cơ sở dữ liệu, hãy cập nhật trạng thái của hành động "nhập" điều quan trọng nhất là cung cấp thông tin chi tiết và chức năng tải xuống của các bản ghi không thành công;

3. Quy trình xuất khẩu

• [1] Phần phụ trợ của ứng dụng nhận được yêu cầu "xuất" do người dùng gửi và phản hồi ngay sau khi nhận được hành động thành công. Trạng thái ban đầu là: "Đang xử lý";
• [2] Sau khi hoàn thành việc lưu trữ bản ghi "xuất", quá trình "tạo" và "tải lên" của tệp sẽ được tách riêng thông qua hàng đợi tin nhắn MQ;
• [3] Dữ liệu tệp được chia thành hai phần, nội dung gốc của tệp và kết quả xử lý nghiệp vụ, được tập hợp thành cấu trúc dữ liệu mới;
• [4] Tạo một tệp mới bao gồm việc hợp nhất các tiêu đề dữ liệu, hợp nhất nội dung dữ liệu và xây dựng định dạng "Excel" để hoàn tất quá trình tạo tệp;
• [5] Tải tệp đã tạo lên máy chủ tệp, nhân viên kinh doanh sẽ tự tải xuống và xuất tệp, sau đó gửi cho bên kênh;

4. Thiết kế kết cấu

Cấu trúc bảng nhập dữ liệu được xác định theo kịch bản kinh doanh cụ thể và sẽ không được trình bày ở đây;

[Hồ sơ hành động]

Việc lưu trữ các bản ghi yêu cầu "nhập" và "xuất" liên quan đến việc quản lý thông tin tệp. Đối với "ID doanh nghiệp" và "ID lô", chúng đề cập đến quy trình xử lý của doanh nghiệp tích hợp. Đồng thời, cùng một lô cũng có thể. bị hạn chế dựa trên "ID" Các hành động lặp lại bên dưới sẽ giảm mức sử dụng tài nguyên không cần thiết;

[Chi tiết dữ liệu]

Trong quá trình "nhập", bảng ghi dữ liệu tệp tạm thời tạo điều kiện thuận lợi cho việc đọc và xử lý dữ liệu nhiều lần, đồng thời tránh việc phân tích cú pháp tệp nhiều lần do gián đoạn quá trình;

Khi “xuất” bạn cần xây dựng file “Excel” mới dựa trên dữ liệu gốc, đảm bảo nội dung gốc không thay đổi khi phát lên kênh và chỉ bổ sung thêm các chi tiết xử lý, kết quả kinh doanh vào hệ thống;

5. Tóm tắt thực hành

Mặc dù có nhiều trường hợp tham chiếu cho "Nhập" và "Xuất" "Excel" hoặc các tệp khác;.

Tuy nhiên, trong thực tiễn R&D, đây vẫn là một quá trình không dễ thực hiện. Trong quá trình truyền dữ liệu và tệp cho nhau, làm thế nào để tích hợp trơn tru với các “kịch bản kinh doanh” là logic thực sự phức tạp;

Từ khi bắt đầu công việc đến nay, nhiều phương án thực hiện “nhập khẩu” và “xuất khẩu” đã được tham khảo hoặc triển khai. Giải pháp tổng thể có thể xem xét từ hai hướng;

[Hệ thống ứng dụng]

Thông thường định dạng tệp là "Excel", "Word", "Pdf", v.v. và khối lượng dữ liệu liên quan không lớn nên có thể được tách rời theo cách "không đồng bộ";

Đối với việc "nhập" tệp, logic chính cần được xem xét là làm thế nào để tích hợp nó một cách trơn tru với doanh nghiệp. Khi có vấn đề phát sinh, phản hồi thông tin chính xác có thể được đưa đến trang sản phẩm, từ đó nâng cao hiệu quả xử lý thứ cấp của tệp. ;

Đối với việc "xuất" dữ liệu, đây là một hoạt động có "rủi ro cao". Thông thường, "quyền" xuất đối với lượng lớn dữ liệu không được cấp. Nếu cần, dữ liệu phải được tính toán và xuất theo "lô";

[Hệ thống dữ liệu]

Khi khối lượng dữ liệu lớn, không nên xem xét các chiến lược “tối ưu hóa” từ hệ thống ứng dụng;

Cách xác định giá trị tới hạn của "khối lượng dữ liệu lớn" đòi hỏi phải kiểm tra khả năng xử lý của hệ thống. Khi lưu lượng kinh doanh của hệ thống đạt đến đỉnh điểm, việc nhập và xuất phải được thực hiện "đồng thời" để đạt được giá trị hợp lý. đơn hàng duy nhất. Số lượng tệp tối đa là "5000";

Việc tập hợp một lượng lớn dữ liệu và "xuất" tệp từ kiến ​​trúc phân tán sẽ tiêu tốn quá nhiều tài nguyên và không phải là cách làm phổ biến;

Phương pháp phổ biến hơn hiện nay là bắt đầu trực tiếp từ "cấp dữ liệu", xây dựng kênh "truyền" hoặc "chuyển đổi" và kích hoạt quy trình thông qua "API" hoặc "mục nhập trang";

Khi khối lượng dữ liệu vượt quá khả năng xử lý của hệ thống ứng dụng, một “kênh truyền dữ liệu” chuyên dụng sẽ được xây dựng để xử lý;

Chế độ này được sử dụng rất phổ biến trong các doanh nghiệp dựa trên dữ liệu. Nó có thể cô lập các hoạt động "IO flow" của một lượng lớn dữ liệu, đảm bảo sự an toàn và ổn định cho hoạt động của hệ thống ứng dụng. Nó cũng có thể cải thiện đáng kể hiệu quả xử lý dữ liệu và truyền tệp. ;

6. Mã nguồn tham khảo

                        
                          Tài liệu lập trình: https://gitee.com/cicadasmile/butte-java-note Kho ứng dụng: https://gitee.com/cicadasmile/butte-flyer-parent

                        
                      

Cuối cùng, bài viết về việc nhập và xuất dữ liệu "kịch bản" phức tạp kết thúc tại đây. Nếu bạn muốn biết thêm về việc nhập và xuất dữ liệu "kịch bản" phức tạp, vui lòng tìm kiếm các bài viết về CFSDN hoặc tiếp tục duyệt qua các bài viết liên quan. bạn sẽ ủng hộ tôi trong tương lai blog của tôi! .