27
4
Tôi có 200 triệu bản ghi, một số trong đó có các trường có kích thước thay đổi (chuỗi, mảng có độ dài thay đổi, v.v.). Tôi cần thực hiện một số bộ lọc, tổng hợp, v.v. trên chúng (truy vấn hướng phân tích).
Tôi chỉ muốn nhét tất cả chúng vào bộ nhớ (đủ để nhét vào một chiếc hộp lớn) và quét tuyến tính chúng. Có hai cách tiếp cận tôi có thể thực hiện và tôi muốn nghe ý kiến của bạn về cách nào tốt hơn để tối đa hóa tốc độ:
Trung tâm cá nhân
Điều phát hành
từ bỏchar* Vàint* Đang chờ mảng cấu trúc xử lý các trường có độ dài thay đổiBạn muốn giới thiệu cách tiếp cận nào?
gia hạn:Sử dụng C
câu trả lời hay nhất
Không may thay,"Nó phụ thuộc vào chi tiết bạn không cung cấp", mặc dù đúng nhưng không đặc biệt hữu ích. Lời khuyên chung để giải quyết những vấn đề như thế này là hãy bắt đầu với thiết kế đơn giản/rõ ràng nhất, sau đó phân tích và tối ưu hóa nó nếu cần. nếu nóthực tếĐiều quan trọng là bạn phải thực hiện một số điểm chuẩn rất cơ bản trên một số thiết kế bằng cách sử dụng dữ liệu chính xác và các trường hợp sử dụng của mình để có ý tưởng chính xác hơn về hướng bạn nên thực hiện.
Một cái nhìn tổng quát về một số thiết kế cụ thể và一般Ưu điểm và nhược điểm:
một bộ đệm lớn
char* pBuffer = malloc(200000000);
cấu trúc tĩnh
cấu trúc typedef {
char Dữ liệu1[32];
int Data2[10];
} myStruct;
myStruct *pData = malloc(sizeof(myStruct)*200000000);
cấu trúc động
cấu trúc typedef {
char* pData1;
int* pData2;
} myStruct2;
myStruct2 *pData = malloc(sizeof(myStruct2)*200000000);
phát trực tuyến
Cái nào trong số này là "tốt nhất" thực sự phụ thuộc vào tình huống cụ thể của bạn... Tôi có thể nghĩ ra các tình huống trong đó mỗi phương pháp sẽ là phương pháp ưu tiên.
Về c - lưu trữ các bản ghi trong mảng byte so với việc sử dụng mảng cấu trúc, chúng tôi đã tìm thấy một câu hỏi tương tự trên Stack Overflow: https://stackoverflow.com/questions/25685795/
27
4
0
Tôi hiện đang cố gắng xây dựng một từ điển dựa trên bảng băm. Logic là: có một cấu trúc tên là HashTable với các nội dung sau: HashFunc HashFunc; PrintFunc PrintEntry;
Nếu tôi có một con trỏ tới một cấu trúc/đối tượng và cấu trúc/đối tượng đó chứa hai con trỏ khác tới các đối tượng khác và tôi muốn xóa đối tượng chứa hai con trỏ này mà không hủy các con trỏ mà nó giữ - Tôi phải làm điều này như thế nào? Con trỏ tới đối tượng A (chứa con trỏ tới đối tượng
Mã giống như gói này main import "fmt" type Hello struct { ID int Raw string } type World []*Hell
Tôi có một tệp CSV có định dạng sau: Mô-đun, Chủ đề, Chủ đề phụ. Nó cần có khả năng được nhập vào cơ sở dữ liệu MySQL với định dạng sau: CREATE TABLE `modules` ( `id
Thông thường tôi sử dụng một cái gì đó như copy((uint8_t*)&POD, (uint8_t*)(&POD + 1 ), back_inserter(rawData)); copy((uint8_t*)&PODV
错误 : 联合只能在具有兼容列类型的表上执行。 结构(层:字符串，skyward_number:字符串，skyward_points:字符串)<> 结构(skyward_number:字符串，层:字符
Tôi có một loạt các con trỏ tới các cấu trúc và tôi đang cố gắng sử dụng chúng trong vòng lặp while. Tôi không hoàn toàn tự tin về cách khởi tạo nó một cách chính xác, nhưng tôi luôn làm điều này: Entry *newEntry = malloc(sizeof(Entry)
Tôi đang học C và câu hỏi của tôi có thể ngu ngốc nhưng tôi bối rối. Trong một hàm như thế này: int afunction(somevariables) { if (someconditions)
Hiện tại tôi đang thực hiện một nhiệm vụ lập trình và tôi thực sự chưa hiểu đầy đủ về liên kết vì chúng tôi chưa đề cập đến nó. Nhưng tôi cảm thấy cần nó để làm những gì tôi muốn, vì mảng không đủ nên tôi tạo cấu trúc như sau struct node { float coef;
Cho đoạn mã sau: #include #include #define MAX_SIZE 15 typedef struct{ int touchs;
cấu trúc danh sách liên hệ[3]; int checknullarray() { for(int x=0;x<10;x++) { if(strlen(con
Câu hỏi này đã có câu trả lời ở đây: Đã đóng 11 năm trước. Có thể trùng lặp: Vòng lặp “for” trống trong Facebook ajax AJAX gọi gì
Tôi vừa duyệt một tệp trong bộ phản xạ và thấy điều này trong hàm tạo cấu trúc: this = new Binder.SyntaxNodeOrToken(); Ai đó có thể giải thích cách bài tập này hoạt động trong C# không?
Tôi thường sử dụng các hằng chuỗi, ví dụ: DICT_KEY1 = 'DICT_KEY1' DICT_KEY2 = 'DICT_KEY2' ... nhiều khi tôi không quan tâm các chữ thực tế là gì miễn là chúng là duy nhất và con người có thể đọc được
Tôi mới sử dụng C và tôi không hiểu tại sao đoạn mã sau không hoạt động: typedef struct{ uint8_t a; uint8_t* b;
Bạn có thể tạo một cấu trúc hoạt động giống như một trong các lớp dựng sẵn, nơi bạn có thể gán giá trị trực tiếp mà không cần gọi thuộc tính không? Tiền thân: Số lượng RoundedDouble = 5;
Đây là mã của tôi: #include typedef struct { const char *description; int age;
Tôi nghĩ R có cấu trúc đặt tên hữu ích cho các thành phần danh sách khi tạo danh sách lồng nhau. Tôi có một danh sách các danh sách và muốn áp dụng một hàm cho mọi vectơ có trong bất kỳ danh sách nào. lapply thực hiện điều này nhưng sau đó loại bỏ cấu trúc đặt tên của danh sách. Làm cách nào để áp dụng các cột lồng nhau
Tôi đang tạo một công cụ sắp xếp cá nhân cho mục đích học tập và tôi chưa bao giờ làm việc với XML nên tôi không chắc liệu giải pháp của mình có phải là giải pháp tốt nhất hay không. Đây là cấu trúc cơ bản của tệp XML tôi đính kèm:
Tôi chưa quen với khái niệm nosql nên khi bắt đầu học PouchDB, tôi đã tìm thấy bảng chuyển đổi này. Sự nhầm lẫn của tôi là, PouchDB hoạt động như thế nào nếu tôi có thể nói rằng tôi có nhiều bảng, điều đó có nghĩa là tôi cần tạo nhiều cơ sở dữ liệu? Bởi vì theo tôi trong bagdb
Tôi là một lập trình viên xuất sắc, rất giỏi!