29
4
Tiếp nối bài viết trước, chúng ta sẽ sử dụng một ví dụ để hiểu rõ hơn về async await không đồng bộ song song, bất đồng bộ song song và điều khiển đồng thời bất đồng bộ song song trong C#.
Vài ngày trước, tôi đã viết hai blog về C# async await asynchrony. Blog đầu tiên có rất nhiều độc giả và nhận được rất nhiều lượt thích và bình luận. Tôi nghĩ mọi người đều nên hiểu và nó tương đối đơn giản. Blog thứ hai nhận được ít lượt xem, ít lượt thích và không có bình luận nào.
Tôi rất bối rối. Blog thứ hai là trọng tâm. Mã tuyệt vời như vậy mà không ai bình luận về nó. Ngay cả những người giỏi nhất trong vòng tròn .NET cũng chưa từng viết đoạn mã này. Tại sao tôi lại nói vậy? Nó liên quan đến cú pháp sugar của C# async await: Ngay cả khi không có cú pháp sugar, đoạn mã vẫn có thể được viết theo cùng một cách. Ngay cả khi không có cú pháp sugar, Java8 vẫn có thể tạo ra đoạn mã tuyệt vời. Nhưng với cú pháp sugar async await của C#, các lập trình viên kinh doanh thông thường, thậm chí là người mới vào nghề, có thể viết mã có thông lượng cao và hiệu suất cao. Đây chính là ý nghĩa! Cho nên tôi nói rằng những người giỏi nhất chưa bao giờ viết về điều đó, vì họ có trình độ cao, có trí tuệ tốt, có nhiều phương tiện, nên tự nhiên họ không cần phải viết về điều đó. Nhưng nếu các lập trình viên bình thường viết code như vậy thì sẽ rất rắc rối và lỗi sẽ thường xuyên xảy ra. Tôi đã sử dụng từ "khám phá" trong tiêu đề. Có cách thực hành nào tốt hơn mà ngay cả người mới bắt đầu cũng có thể viết về lập trình song song và không đồng bộ không?
Giá trị thực tế của mã này là để truy vấn es. Gần đây tôi thấy hiệu suất của es rất tốt! Đầu tiên, tôi sẽ cho bạn xem ảnh chụp màn hình đầu ra của giao diện điều khiển. Tôi triển khai dịch vụ trên một máy chủ, một môi trường thực, không phải trên máy tính của tôi. Truy vấn 379 es chỉ mất 0,185 giây. Tất nhiên, thời gian thực hiện sẽ dao động. Vài phần mười giây là bình thường và có thể vượt quá 1 giây. Điều es sợ nhất là các truy vấn chậm, truy vấn có điều kiện phức tạp và truy vấn phạm vi. Chiến lược của tôi là thực hiện nhiều truy vấn chính xác, có thể tận dụng được thông lượng cực cao của es.
Vì có nhiều truy vấn nên luồng đơn hoặc đồng bộ hóa chắc chắn là không đủ và phải được thực hiện song song. Python có thể viết mã song song không? Có thể viết được Java không? Tất nhiên là có thể! Nhưng đồng nghiệp cũ của tôi đã viết mã đồng bộ cho nhiều truy vấn tới es trong Python, vậy tại sao không song song hóa nó? Chắc chắn là có thể viết song song, nhưng tại sao không? Bởi vì nó phức tạp và khó viết. Bạn nghĩ mình có kỹ năng và trí tuệ tốt, nhưng người khác thì sao? Ý nghĩa của việc này là gì? Chúng ta không chỉ nên viết mã song song mà còn phải viết một cách đơn giản mà không phá hủy cấu trúc logic ban đầu của mã.
Mọi người đều có thể viết, chỉ cần sử dụng async await, rất đơn giản, đây là những gì tôi đã viết, mã chủ yếu tạo nhiều yêu cầu bất đồng bộ trong một vòng lặp kép (chỉ cần xem qua và bỏ qua):
Trung tâm cá nhân
Bài viết phát hành
từ bỏ
/// /// xxx query/// public async Task<>> Query2(string strStartTime, string strEndTime, int kpCountThreshold, int countThreshold, int distanceThreshold, int timeThreshold, List peopleClusterList) { List resultList = new List(); Stopwatch sw = Stopwatch.StartNew(); //Tạo từ điển Dictionary clusterIdPeopleDict = new Dictionary(); foreach (PeopleCluster peopleCluster trong peopleClusterList) { foreach (string clusterId trong peopleCluster.ClusterIds) { if (!clusterIdPeopleDict.ContainsKey(clusterId)) { clusterIdPeopleDict.Add(clusterId, peopleCluster); } } } int queryCount = 0; Dictionary dict = new Dictionary(); foreach (PeopleCluster people1 trong peopleClusterList) { List peopleFeatureList = await ServiceFactory.Get().Query(strStartTime, strEndTime, people1); queryCount++; foreach (PeopleFeatureInfo peopleFeatureInfo1 trong peopleFeatureList) { DateTime capturedTime = DateTime.ParseExact(peopleFeatureInfo1.captured_time, "yyyyMMddHHmmss", CultureInfo.InvariantCulture); string strStartTime2 = capturedTime.AddSeconds(-timeThreshold).ToString("yyyyMMddHHmmss"); string strEndTime2 = capturedTime.AddSeconds(timeThreshold).ToString("yyyyMMddHHmmss"); List peopleFeatureList2 = await ServiceFactory.Get().QueryExcludeSelf(strStartTime2, strEndTime2, people1); queryCount++; if (peopleFeatureList2.Count > 0) { foreach (PeopleFeatureInfo peopleFeatureInfo2 trong peopleFeatureList2) { chuỗi khóa = null; PeopleCluster people2 = null; chuỗi people2ClusterId = null; if (clusterIdPeopleDict.ContainsKey(peopleFeatureInfo2.cluster_id.ToString())) { people2 = clusterIdPeopleDict[peopleFeatureInfo2.cluster_id.ToString()]; key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; } else { people2ClusterId = peopleFeatureInfo2.cluster_id.ToString(); key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2ClusterId)}"; } double distance = LngLatUtil.CalcDistance(peopleFeatureInfo1.Longitude, peopleFeatureInfo1.Latitude, peopleFeatureInfo2.Longitude, peopleFeatureInfo2.Latitude); if (khoảng cách > distanceThreshold) tiếp tục; AccompanyInfo companionInfo; if (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo(); dict.Add(key, companionInfo); } companionInfo.People1 = people1; if (people2 != null) { companionInfo.People2 = people2; } else { companionInfo.ClusterId2 = people2ClusterId; } AccompanyItem companionItem = new AccompanyItem(); companionItem.Info1 = peopleFeatureInfo1; companionItem.Info2 = peopleFeatureInfo2; companionInfo.List.Add(accompanyItem); companionInfo.Count++; resultList.Add(accompanyInfo); } } } } resultList = resultList.FindAll(a => (a.People2 != null && a.Count >= kpCountThreshold) || a.Count >= countThreshold); // Xóa các phần tử trùng lặp int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = a.People2 != null ? string.Join(",", a.People2.ClusterIds) : string.Empty; string str3 = a.ClusterId2 ?? string.Empty; StringBuilder sb = new StringBuilder(); foreach (AccompanyItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{str3}_{sb}"; }).ToList(); sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số truy vấn: {queryCount}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }
Đoạn mã trên thì ổn nhưng cũng có vấn đề. Tức là nhiều yêu cầu được thực hiện trong một vòng lặp kép. Mặc dù sử dụng async await nhưng nó không song song và sẽ mất nhiều thời gian. Làm thế nào để tối ưu hóa nó? Vui lòng xem đoạn mã sau:
/// /// xxx query/// public async Task<>> Query(string strStartTime, string strEndTime, int kpCountThreshold, int countThreshold, int distanceThreshold, int timeThreshold, List peopleClusterList) { List resultList = new List(); Stopwatch sw = Stopwatch.StartNew(); //Tạo từ điển Dictionary clusterIdPeopleDict = new Dictionary(); foreach (PeopleCluster peopleCluster in peopleClusterList) { foreach (string clusterId in peopleCluster.ClusterIds) { if (!clusterIdPeopleDict.ContainsKey(clusterId)) { clusterIdPeopleDict.Add(clusterId, peopleCluster); } } } //Tổ chức lớp đầu tiên của tác vụ vòng lặp Dictionary>> tasks1 = new Dictionary>>(); foreach (PeopleCluster people1 in peopleClusterList) { var task1 = ServiceFactory.Get().Query(strStartTime, strEndTime, people1); tasks1.Add(people1, task1); } //Tính toán tác vụ vòng lặp cấp độ đầu tiên và lưu vào bộ nhớ đệm kết quả, sắp xếp tác vụ vòng lặp cấp độ thứ hai Dictionary>> tasks2 = new Dictionary>>(); Dictionary> cache1 = new Dictionary>(); foreach (PeopleCluster people1 in peopleClusterList) { List peopleFeatureList = await tasks1[people1]; cache1.Add(people1, peopleFeatureList); foreach (PeopleFeatureInfo peopleFeatureInfo1 trong peopleFeatureList) { DateTime capturedTime = DateTime.ParseExact(peopleFeatureInfo1.captured_time, "yyyyMMddHHmmss", CultureInfo.InvariantCulture); chuỗi strStartTime2 = capturedTime.AddSeconds(-timeThreshold).ToString("yyyyMMddHHmmss"); chuỗi strEndTime2 = capturedTime.AddSeconds(timeThreshold).ToString("yyyyMMddHHmmss"); var task2 = ServiceFactory.Get().QueryExcludeSelf(strStartTime2, strEndTime2, people1); chuỗi task2Key = $"{strStartTime2}_{strEndTime2}_{string.Join(",", people1.ClusterIds)}"; task2.TryAdd(task2Key, task2); } } //Đọc kết quả được lưu trong bộ nhớ đệm của tác vụ vòng lặp lớp đầu tiên và tính toán tác vụ vòng lặp lớp thứ hai Dictionary dict = new Dictionary(); foreach (PeopleCluster people1 in peopleClusterList) { List peopleFeatureList = cache1[people1]; foreach (PeopleFeatureInfo peopleFeatureInfo1 in peopleFeatureList) { DateTime capturedTime = DateTime.ParseExact(peopleFeatureInfo1.captured_time, "yyyyMMddHHmmss", CultureInfo.InvariantCulture); string strStartTime2 = capturedTime.AddSeconds(-timeThreshold).ToString("yyyyMMddHHmmss"); string strEndTime2 = capturedTime.AddSeconds(timeThreshold).ToString("yyyyMMddHHmmss"); string task2Key = $"{strStartTime2}_{strEndTime2}_{chuỗi.Join(",, people1.ClusterIds)}"; Danh sách peopleFeatureList2 = await tasks2[task2Key]; nếu (peopleFeatureList2.Count > 0) { foreach (PeopleFeatureInfo peopleFeatureInfo2 trong peopleFeatureList2) { chuỗi khóa = null; PeopleCluster people2 = null; chuỗi people2ClusterId = null; nếu (clusterIdPeopleDict.ContainsKey(peopleFeatureInfo2.cluster_id.ToString())) { people2 = clusterIdPeopleDict[peopleFeatureInfo2.cluster_id.ToString()]; khóa = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; } nếu không { people2ClusterId = peopleFeatureInfo2.cluster_id.ToString(); khóa = $"{string.Join(",", companionInfo = new AccompanyInfo(); dict.Add(key, companionInfo); } companionInfo.People1 = people1; nếu (people2 != null) { companionInfo.People2 = people2; } else { companionInfo.ClusterId2 = people2ClusterId; } AccompanyItem companionItem = new AccompanyItem(); companionItem.Info1 = peopleFeatureInfo1; companionItem.Info2 = peopleFeatureInfo2; companionInfo.List.Add(accompanyItem); companionInfo.Count++; resultList.Add(accompanyInfo); } } } } resultList = resultList.FindAll(a => (a.People2 != null && a.Count >= kpCountThreshold) || a.Count >= countThreshold); // Xóa các phần tử trùng lặp int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = a.People2 != null ? string.Join(",", a.People2.ClusterIds) : string.Empty; string str3 = a.ClusterId2 ?? string.Empty; StringBuilder sb = new StringBuilder(); foreach (AccompanyItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{str3}_{sb}"; }).ToList(); //Sắp xếp foreach (mục AccompanyInfo trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }AccompanyInfo companionInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } // 添加 đi kèm với POCOMPANYINFO (); ); = null && a.count> = kpcountthreshold) | | = a.People2 != null ? string.Join(",", a.People2.ClusterIds) : string.Empty; string str3 = a.ClusterId2 ?? string.Empty; StringBuilder sb = new StringBuilder(); foreach (AccompanyItem mục trong a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{str3}_{sb}"; }).ToList(); //Sắp xếpforeach (AccompanyInfo mục trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }AccompanyInfo companionInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new AccompanyInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } // 添加 đi kèm với POCOMPANYINFO (); ); = null && a.count> = kpcountthreshold) | | = a.People2 != null ? string.Join(",", a.People2.ClusterIds) : string.Empty; string str3 = a.ClusterId2 ?? string.Empty; StringBuilder sb = new StringBuilder(); foreach (AccompanyItem mục trong a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{str3}_{sb}"; }).ToList(); //Sắp xếpforeach (AccompanyInfo mục trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }// pompanyItem đi kèm với nhau resultlist = resultlist.findall (a => fo.list.add (đi kèm); Ompanyitem (); People2! = NULL đi kèm = a.ClusterId2 ?? string.Empty; StringBuilder sb = new StringBuilder(); foreach (AccompanyItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{str3}_{sb}"; }).ToList(); //Sortingforeach (AccompanyInfo item in resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, tốn thời gian: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }// pompanyItem đi kèm với nhau resultlist = resultlist.findall (a => fo.list.add (đi kèm); Ompanyitem (); People2! = NULL đi kèm = a.ClusterId2 ?? string.Empty; StringBuilder sb = new StringBuilder(); foreach (AccompanyItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{str3}_{sb}"; }).ToList(); //Sortingforeach (AccompanyInfo item in resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, tốn thời gian: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }
Danh sách[] listArray = await Task.WhenAll(tasks2.Values);
Trong một vòng lặp kép, làm thế nào để có được kết quả? Tất nhiên là bạn có thể viết, nhưng bạn phải suy nghĩ về cách viết, đúng không? Phương pháp viết của tôi có thể trực tiếp nhận được kết quả trong thân vòng lặp kép:
Danh sách danh sách = chờ nhiệm vụ2[task2Key];
def get_es_multiprocess(index_list, people_list, core_percent, rev_clusterid_idcard_dict): ''' Đọc dữ liệu es đa tiến trình, chuyển đổi thành toàn bộ khung dữ liệu, sắp xếp theo thời gian :return: Khung dữ liệu lớn hơn''' col_list = ["cluster_id", "camera_id", "captured_time"] pool = Pool(processes=int(mp.cpu_count() * core_percent)) input_list = [(i, people_list, col_list) for i in index_list] res = pool.map(get_es, input_list) if not res: return None pool.close() pool.join() df_all = pd.DataFrame(columns=col_list+['longitude', 'latitude']) for df in res: df_all = pd.concat([df_all, df]) # Buộc chuyển đổi thành chuỗi tại đây! # todo df_all['cluster_id'] = df_all['cluster_id'].apply(lambda x: rev_clusterid_idcard_dict[str(x)]) del df_all['cluster_id'] df_all.rename(columns={'cluster_id_': 'cluster_id'}, inplace=True) df_all.sort_values(by='captured_time', inplace=True) print('=' * 100) print('Toàn bộ dữ liệu (trước khi phân cụm):') print(df_all.info()) cluster_id_list = [(i, df) for i, df in df_all.groupby(['cluster_id'])] cluster_id_list_split = [j for j in func(cluster_id_list, 1000000)] # todo Giảm bớt tập dữ liệu để gỡ lỗi! data_all = df_all.iloc[:, :] trả về data_all, cluster_id_list_split
res = pool.map(get_es, input_list) pool.join() ...bỏ qua
Trong số đó, get_es là phương thức truy vấn es. Nó không nên là phương thức bất đồng bộ, nhưng đây không phải là vấn đề. 2. res là kết quả truy vấn, được kiểm tra song song, đưa vào res, sau đó giải quyết kết quả. 3. Lưu ý rằng đây chỉ là một vòng lặp đơn. Hãy nghĩ về cách viết vòng lặp kép. 4. pool.join() chặn luồng hiện tại, điều này không tốt. 5. Đồng nghiệp của tôi đã viết "multi-process" trong bình luận. Có sai không? Nó có thực sự đa luồng không? Hay chỉ là quá trình đa xử lý? 6. Tất nhiên, Python có async await asynchronous writing, không tệ hơn C#. Chỉ là đồng nghiệp của tôi không sử dụng nó, có lẽ vì phiên bản Python anh ấy sử dụng không đủ mới. 7. Có quá nhiều chuỗi trong mã Python và chuỗi là khó bảo trì nhất. Tất cả các chuỗi trong C# đều được định kiểu mạnh.
Theo cùng một mô hình, tôi đã biến công việc trí óc thành công việc thực tế và viết một phương pháp khác (logic kinh doanh không quan trọng, chỉ cần xem xét việc sử dụng tính năng bất đồng bộ song song):
/// /// xxx query/// public async Task<>> Query(string strStartTime, string strEndTime, int kpCountThreshold, int timeThreshold, List peopleClusterList) { List resultList = new List(); Stopwatch sw = Stopwatch.StartNew(); //Sắp xếp lớp đầu tiên của các tác vụ vòng lặp, kiểm tra xxx Dictionary>> tasks1 = new Dictionary>>(); foreach (PeopleCluster people1 in peopleClusterList) { var task1 = ServiceFactory.Get().Query(strStartTime, strEndTime, people1); tasks1.Add(people1, task1); } //Tính toán tác vụ vòng lặp cấp độ đầu tiên và lưu trữ kết quả, sắp xếp tác vụ vòng lặp cấp độ thứ hai và tìm kiếm chính xác xxx Dictionary>> tasks2 = new Dictionary>>(); Dictionary> cache1 = new Dictionary>(); foreach (PeopleCluster people1 in peopleClusterList) { List peopleFeatureList = await tasks1[people1]; cache1.Add(people1, peopleFeatureList); foreach (PeopleFeatureInfo peopleFeatureInfo1 in peopleFeatureList) { string task2Key = $"{peopleFeatureInfo1.camera_id}_{peopleFeatureInfo1.captured_time}"; var task2 = ServiceFactory.Get().QueryExact(peopleFeatureInfo1.camera_id, peopleFeatureInfo1.captured_time); tasks2.TryAdd(task2Key, task2); } } //Đọc kết quả được lưu trong bộ nhớ đệm của tác vụ vòng lặp cấp độ đầu tiên và tính toán tác vụ vòng lặp cấp độ thứ hai Dictionary dictPersonVehicle = new Dictionary(); foreach (PeopleCluster people1 in peopleClusterList) { List peopleFeatureList = cache1[people1]; foreach (PeopleFeatureInfo peopleFeatureInfo1 in peopleFeatureList) { string task2Key = $"{peopleFeatureInfo1.camera_id}_{peopleFeatureInfo1.captured_time}"; List motorVehicleList = await tasks2[task2Key]; motorVehicleList = motorVehicleList.DistinctBy(a => a.plate_no).ToList(); foreach (MotorVehicleInfo motorVehicleInfo trong motorVehicleList) { PersonVehicleKey key = new PersonVehicleKey(people1, motorVehicleInfo.plate_no); PersonVehicleInfo personVehicleInfo; if (dictPersonVehicle.ContainsKey(key)) { personVehicleInfo = dictPersonVehicle[key]; } else { personVehicleInfo = new PersonVehicleInfo() { People = people1, PlateNo = motorVehicleInfo.plate_no, List = new List() }; dictPersonVehicle.Add(key, personVehicleInfo); } personVehicleInfo.List.Add(peopleFeatureInfo1); } } } //Sửa đổi xxx List keys = dictPersonVehicle.Keys.ToList(); Dictionary dict = new Dictionary(); for (int i = 0; i < keys.Count - 1; i++) { đối với (int j = i + 1; j < keys.Đếm; j++) { var key1 = keys[i]; var key2 = keys[j]; var personVehicle1 = dictPersonVehicle[key1]; var personVehicle2 = dictPersonVehicle[key2]; if (key1.PlateNo == key2.PlateNo) { foreach (PeopleFeatureInfo peopleFeature1 trong personVehicle1.List) { double minTimeDiff = double.MaxValue; int minIndex = -1; for (int k = 0; k < personVehicle2.List.Count; k++) { PeopleFeatureInfo peopleFeature2 = personVehicle2.List[k]; DateTime capturedTime1 = DateTime.ParseExact(peopleFeature1.captured_time, "yyyyMMddHHmmss", CultureInfo.InvariantCulture); DateTime capturedTime2 = DateTime.ParseExact(peopleFeature2.captured_time, var timeDiff = Math.Abs(capturedTime2.Subtract(capturedTime1).TotalSeconds); if (timeDiff < minTimeDiff) { minTimeDiff = timeDiff; minIndex = k; } } if (minIndex >= 0 && minTimeDiff <= timeThreshold * 60) { PeopleCluster people1 = key1.People; PeopleCluster people2 = key2.People; PeopleFeatureInfo peopleFeatureInfo2 = personVehicle2.List[minIndex]; string key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; ; SameVehicleInfo companionInfo; if (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = // 删除重 int beforedistinceCount = resultList.Count; beforedistinceCount = resultList.Count; Count = resultList.Count; string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (mục SameVehicleItem trong a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sắp xếpforeach (mục SameVehicleInfo trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }} } nếu (minIndex >= 0 && minTimeDiff ) { minTimeDiff = timeDiff; minIndex = k; } } } } <= timeThreshold * 60) { PeopleCluster people1 = key1.People; PeopleCluster people2 = key2.People; PeopleFeatureInfo peopleFeatureInfo2 = personVehicle2.List[minIndex]; string key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; ; SameVehicleInfo companionInfo; if (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new SameVehicleInfo(); dict.Add(key, companionInfo); } companionInfo.People1 = people1; companionInfo.People2 = people2; SameVehicleItem companionItem = new SameVehicleItem(); companionItem.Info1 = peopleFeature1; companionItem.Info2 = peopleFeatureInfo2; companionInfo.List.Add(accompanyItem); companionInfo.Count++; resultList.Add(accompanyInfo); } } } } } resultList = resultList.FindAll(a => a.Count >= kpCountThreshold); //Lọc, loại trừ xxx resultList = resultList.FindAll(a => { if (string.Join(",", a.People1.ClusterIds) == string.Join(",", a.People2.ClusterIds)) { return false; } return true; }); //Xóa các phần tử trùng lặp int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (SameVehicleItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sắp xếp foreach (mục SameVehicleInfo trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }} } nếu (minIndex >= 0 && minTimeDiff ) { minTimeDiff = timeDiff; minIndex = k; } } } } <= timeThreshold * 60) { PeopleCluster people1 = key1.People; PeopleCluster people2 = key2.People; PeopleFeatureInfo peopleFeatureInfo2 = personVehicle2.List[minIndex]; string key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; ; SameVehicleInfo companionInfo; if (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new SameVehicleInfo(); dict.Add(key, companionInfo); } companionInfo.People1 = people1; companionInfo.People2 = people2; SameVehicleItem companionItem = new SameVehicleItem(); companionItem.Info1 = peopleFeature1; companionItem.Info2 = peopleFeatureInfo2; companionInfo.List.Add(accompanyItem); companionInfo.Count++; resultList.Add(accompanyInfo); } } } } } resultList = resultList.FindAll(a => a.Count >= kpCountThreshold); //Lọc, loại trừ xxx resultList = resultList.FindAll(a => { if (string.Join(",", a.People1.ClusterIds) == string.Join(",", a.People2.ClusterIds)) { return false; } return true; }); //Xóa các phần tử trùng lặp int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (SameVehicleItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sắp xếp foreach (mục SameVehicleInfo trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }Trừ (capturedTime1). Tổng giây); nếu (timeDiff < minTimeDiff) { minTimeDiff = timeDiff; minIndex = k; } } nếu (minIndex >= 0 && minTimeDiff <= timeThreshold * 60) { PeopleCluster people1 = key1.People; PeopleCluster people2 = key2.People; PeopleFeatureInfo peopleFeatureInfo2 = personVehicle2.List[minIndex]; chuỗi key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; ; SameVehicleInfo companionInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new SameVehicleInfo(); dict.Add(key, companionInfo); } companionInfo.People1 = people1; companionInfo.People2 = people2; SameVehicleItem companionItem = new SameVehicleItem(); companionItem.Info1 = peopleFeature1; companionItem.Info2 = peopleFeatureInfo2; companionInfo.List.Add(accompanyItem); companionInfo.Count++; resultList.Add(accompanyInfo); } } } } } resultList = resultList.FindAll(a => a.Count >= kpCountThreshold); //Lọc, loại trừ xxx resultList = resultList.FindAll(a => { if (string.Join(",", a.People1.ClusterIds) == string.Join(",", a.People2.ClusterIds)) { return false; } return true; }); //Nhân đôi int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (SameVehicleItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sortingforeach (SameVehicleInfo item in resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }Trừ (capturedTime1). Tổng giây); nếu (timeDiff < minTimeDiff) { minTimeDiff = timeDiff; minIndex = k; } } nếu (minIndex >= 0 && minTimeDiff <= timeThreshold * 60) { PeopleCluster people1 = key1.People; PeopleCluster people2 = key2.People; PeopleFeatureInfo peopleFeatureInfo2 = personVehicle2.List[minIndex]; chuỗi key = $"{string.Join(",", people1.ClusterIds)}_{string.Join(",", people2.ClusterIds)}"; ; SameVehicleInfo companionInfo; nếu (dict.ContainsKey(key)) { companionInfo = dict[key]; } else { companionInfo = new SameVehicleInfo(); dict.Add(key, companionInfo); } companionInfo.People1 = people1; companionInfo.People2 = people2; SameVehicleItem companionItem = new SameVehicleItem(); companionItem.Info1 = peopleFeature1; companionItem.Info2 = peopleFeatureInfo2; companionInfo.List.Add(accompanyItem); companionInfo.Count++; resultList.Add(accompanyInfo); } } } } } resultList = resultList.FindAll(a => a.Count >= kpCountThreshold); //Lọc, loại trừ xxx resultList = resultList.FindAll(a => { if (string.Join(",", a.People1.ClusterIds) == string.Join(",", a.People2.ClusterIds)) { return false; } return true; }); //Nhân đôi int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (SameVehicleItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sortingforeach (SameVehicleInfo item in resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }Count >= kpCountThreshold); //Lọc và loại trừ xxx resultList = resultList.FindAll(a => { if (string.Join(",", a.People1.ClusterIds) == string.Join(",", a.People2.ClusterIds)) { return false; } return true; }); //Xóa các phần tử trùng lặp int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (SameVehicleItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sắp xếp foreach (mục SameVehicleInfo trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }Count >= kpCountThreshold); //Lọc và loại trừ xxx resultList = resultList.FindAll(a => { if (string.Join(",", a.People1.ClusterIds) == string.Join(",", a.People2.ClusterIds)) { return false; } return true; }); //Xóa các phần tử trùng lặp int beforeDistinctCount = resultList.Count; resultList = resultList.DistinctBy(a => { string str1 = string.Join(",", a.People1.ClusterIds); string str2 = string.Join(",", a.People2.ClusterIds); StringBuilder sb = new StringBuilder(); foreach (SameVehicleItem item in a.List) { var info2 = item.Info2; sb.Append($"{info2.camera_id},{info2.captured_time},{info2.cluster_id}"); } return $"{str1}_{str2}_{sb}"; }).ToList(); //Sắp xếp foreach (mục SameVehicleInfo trong resultList) { item.List.Sort((a, b) => -string.Compare(a.Info1.captured_time, b.Info1.captured_time)); } sw.Stop(); string msg = $"xxx truy vấn, thời gian sử dụng: {sw.Elapsed.TotalSeconds:0.000} giây, số lượng truy vấn: {tasks1.Count + tasks2.Count}, loại bỏ trùng lặp: {beforeDistinctCount}-->{resultList.Count}"; Console.WriteLine(msg); LogUtil.Info(msg); return resultList; }
Cuối cùng, bài viết này về Exploration: Elegantly Implementing Parallelization of Asynchronous Methods đã có tại đây. Nếu bạn muốn biết thêm về Exploration: Elegantly Implementing Parallelization of Asynchronous Methods, vui lòng tìm kiếm các bài viết trên CFSDN hoặc tiếp tục duyệt các bài viết liên quan. Tôi hy vọng bạn sẽ ủng hộ blog của tôi trong tương lai! .
29
4
0
Bối cảnh: Gần đây tôi sử dụng JPA rất nhiều và tôi rất ấn tượng về khả năng dễ dàng tạo lớp lưu trữ bền vững cho dự án cơ sở dữ liệu quan hệ khá lớn của mình. Công ty chúng tôi sử dụng nhiều cơ sở dữ liệu không phải SQL, đặc biệt là các cơ sở dữ liệu theo cột. Tôi có một số câu hỏi về khả năng sử dụng JPA với các cơ sở dữ liệu này.
Tôi đã thêm các cấu hình xây dựng này vào maven pom của mình vì tôi muốn các phụ thuộc của Apache Solr được đóng gói cùng với Jar. Nếu không, tôi sẽ nhận được SolarServerException: ClassNotF
giao diện ITurtle { void Fight(); void EatPizza(); } giao diện ILeonardo : ITurtle {
Tôi hy vọng rằng một trong những công cụ ánh xạ đối tượng/quan hệ (ORM) có sẵn cho Java sẽ đáp ứng được các yêu cầu sau: Truy xuất một số lượng lớn hàng bằng cách sử dụng truy vấn JPA hoặc SQL gốc và trả về chúng dưới dạng đối tượng thực thể. Cho phép lặp lại trên các hàng (thực thể) và
Có vẻ là không, vì tôi có mã thực hiện From for và tôi có thể chuyển đổi A thành B bằng .into() nhưng điều tương tự không hiệu quả với Vec .into() a Vec . Hoặc là tôi đã làm hỏng thứ gì đó ngăn cản việc thực hiện Derivation, hoặc điều này không nên xảy ra.
Trong C#, nếu A triển khai IX và B kế thừa từ A, thì liệu B có nhất thiết phải triển khai IX không? Nếu vậy, có phải là do LSP không? Có sự khác biệt nào giữa: 1. Giao diện IX; Lớp A: IX;
Hiện tại, câu hỏi này không phù hợp với định dạng Hỏi & Đáp của chúng tôi. Chúng tôi mong đợi câu trả lời được hỗ trợ bởi các sự kiện, tài liệu tham khảo hoặc chuyên môn, nhưng câu hỏi này có thể gây ra tranh luận, tranh cãi, thăm dò ý kiến hoặc thảo luận mở rộng. Nếu bạn cảm thấy vấn đề này có thể được cải thiện và có thể mở lại, hãy truy cập
Tôi đang đọc mã triển khai (^) của thư viện haskell chuẩn: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
Tôi sẽ biểu diễn ván cờ vua dưới dạng cấu trúc C++. Tôi nghĩ, lựa chọn tốt nhất sẽ là cấu trúc cây (vì ở mỗi độ sâu, chúng ta có nhiều khả năng di chuyển). Đây có phải là cách tiếp cận tốt không? cấu trúc TreeElement{ SomeMoveType
Tôi đang triển khai thuật toán khớp chuỗi cho cơ sở dữ liệu tên người dùng. Phương pháp của tôi sử dụng cơ sở dữ liệu tên người dùng hiện có và tên người dùng mới mà người dùng muốn, sau đó kiểm tra xem tên người dùng đó đã có người dùng hay chưa. Nếu sử dụng, phương pháp này sẽ trả về tên người dùng với một số chưa được sử dụng trong cơ sở dữ liệu. Ví dụ: "Jia
Tôi đang cố gắng triển khai thuật toán tìm kiếm theo chiều rộng để tìm khoảng cách ngắn nhất giữa hai đỉnh. Tôi đã phát triển một đối tượng Queue để lưu và truy xuất các đối tượng và tôi có một mảng 2D để lưu hai đỉnh đã cho
Hiện tại tôi đang phát triển trò chơi Python của mình bằng ika, sử dụng python 2.5 và tôi quyết định sử dụng công nghệ tìm đường A* cho AI. Tuy nhiên, tôi thấy nó quá chậm so với nhu cầu của mình (3-4 kẻ địch có thể sẽ chậm hơn so với trò chơi, nhưng tôi muốn cung cấp 4-
Tôi đang tìm kiếm một triển khai mã nguồn mở của Kademlia, một bảng băm phân tán trong C/C++. Nó phải nhẹ và chạy được trên nhiều nền tảng (win/linux/mac). Nó phải có khả năng xuất bản thông tin tới DHT và thu thập thông tin đó. Câu trả lời tốt nhất cho OpenDHT là
Tôi đọc được dòng này trong một cuốn sách: "Khi chúng ta yêu cầu triển khai C++ chạy một chương trình, nó sẽ thực hiện bằng cách gọi hàm này." Và tôi muốn biết "Triển khai C++" có nghĩa là gì hoặc chính xác thì nó là gì. giúp đỡ!? Câu trả lời tốt nhất là "Triển khai C++" nghĩa là trình biên dịch cộng với trình liên kết
Tôi đang cố gắng triển khai bài toán ba lô này trong C++ bằng cách sử dụng nhánh và ràng buộc. Có một phiên bản Java trên trang web này: Triển khai nhánh và ràng buộc cho knapsack Tôi đã cố gắng để có được phiên bản C++ của mình để in
Có nhiều trường hợp tôi cần truy cập thuật toán băm phù hợp trong C#, từ ghi đè GetHashCode đến thực hiện so sánh/tra cứu dữ liệu nhanh. Tôi thấy băm FNV là một thuật toán băm rất đơn giản/tốt/nhanh. Tuy nhiên, tôi chưa bao giờ thấy một triển khai C#
Chiến lược thay thế bộ nhớ đệm LRU thư mục ý tưởng cốt lõi không áp dụng thuật toán kịch bản thuật toán triển khai cơ bản tối ưu hóa
1. Giới thiệu Trong bài viết trước, chúng tôi đã đề cập đến việc các hệ tọa độ hình chữ nhật không gian được chuyển đổi cho nhau. Khi thực hiện chuyển đổi tọa độ trắc địa và lập bản đồ, tình huống thường gặp là: chuyển đổi góc nhỏ của hai hệ tọa độ hình chữ nhật. Đây là những gì chúng ta thường sử dụng trong quá trình xử lý dữ liệu khảo sát và lập bản đồ, hệ tọa độ WGS-84, hệ tọa độ Bắc Kinh 54
Trong quá trình phát triển phần mềm, đôi khi chúng ta cần kiểm tra dữ liệu trong cơ sở dữ liệu theo định kỳ và kích hoạt hành động khi tìm thấy dữ liệu mới. Để đạt được yêu cầu này, chúng tôi sẽ tiến hành một cuộc trình diễn đơn giản trong .Net 7. PeriodicTimer.
Tìm kiếm nhị phân Thuật toán tìm kiếm nhị phân, nói một cách đơn giản, là đưa ra một khóa giá trị trong một mảng có thứ tự, sau đó so sánh nó với phần tử giữa của mảng. Nếu khóa lớn hơn giá trị giữa, hãy thực hiện phép so sánh tiếp theo sau phần tử giữa cho đến khi tìm được giá trị bằng, sau đó bạn có thể biết được vị trí của nó.
Tôi là một lập trình viên xuất sắc, rất giỏi!