từ fastapi nhập FastAPI từ pydantic nhập BaseModel từ typing nhập List từ transformers nhập AutoTokenizer, AutoModel nhập torch app = FastAPI() # Tải mô hình và tokenizer model = AutoModel.from_pretrained("/app").half().cuda() tokenizer = AutoTokenizer.from_pretrained("/app") # Yêu cầu lớp thân câu Sentence(BaseModel): câu: str @app.post("/embed") async def nhúng(câu: Câu): # Mã hóa câu và lấy tenxơ đầu vào inputs = tokenizer(câu.câu, return_tensors='pt', padding=True, truncation=True, max_length=512) # Di chuyển đầu vào tới GPU để lấy khóa trong inputs.keys(): inputs[key] = inputs[key].to('cuda') # Chạy mô hình với torch.no_grad(): outputs = model(**inputs) # Lấy các nhúng embeddings = outputs.last_hidden_state[0].cpu().numpy() # Trả về các nhúng dưới dạng phản hồi JSON return embeddings.tolist()

                        

                          từ fastapi nhập FastAPI từ pydantic nhập BaseModel từ typing nhập List từ transformers nhập AutoTokenizer, AutoModel nhập torch app = FastAPI() # Tải mô hình và tokenizer model = AutoModel.from_pretrained("/app").half() tokenizer = AutoTokenizer.from_pretrained("/app") # Yêu cầu lớp thân câu Sentence(BaseModel): câu: str @app.post("/embed") async def nhúng(câu: Câu): # Mã hóa câu và lấy tenxơ đầu vào inputs = tokenizer(câu.câu, return_tensors='pt', padding=True, truncation=True, max_length=512) # Không cần di chuyển đầu vào sang GPU vì chúng ta đang sử dụng CPU # Chạy mô hình với torch.no_grad(): outputs = model(**inputs) # Lấy các nhúng embeddings = outputs.last_hidden_state[0].cpu().numpy() # Trả về các nhúng dưới dạng phản hồi JSON trả về embeddings.tolist()
                        

                          ngọn đuốc máy biến áp fastapi uvicorn

                        

                          TỪ python:3.8-slim-buster # Đặt thư mục làm việc thành /app WORKDIR /app # Sao chép nội dung thư mục hiện tại vào vùng chứa tại /app ADD. /app # Cài đặt bất kỳ gói nào cần thiết được chỉ định trong requirements.txt CHẠY pip install --trusted-host pypi.python.org -r requirements.txt # Chạy app.py khi vùng chứa khởi chạy ENV MODULE_NAME=web 
                          

                          ENV VARIABLE_NAME=ứng dụng 
                          

                          Máy chủ ENV=0.0.0.0 
                          

                          CỔNG ENV=80
                          

                          

                          # Chạy ứng dụng: 
                          

                          CMD uvicorn ${MODULE_NAME}:${VARIABLE_NAME} --host ${HOST} --port ${PORT}

                        

                          git clone https://github.com/THUDM/ChatGLM-6B.git

                        

                          từ fastapi nhập FastAPI, Yêu cầu từ fastapi.responses nhập StreamingResponse từ transformers nhập AutoTokenizer, AutoModel nhập uvicorn, json, datetime nhập torch nhập asyncio THIẾT BỊ = "cuda" DEVICE_ID = "0" CUDA_DEVICE = f"{THIẾT BỊ}:{THIẾT BỊ_ID}" nếu THIẾT BỊ_ID thì THIẾT BỊ def torch_gc(): nếu torch.cuda.is_available(): với torch.cuda.device(CUDA_DEVICE): torch.cuda.empty_cache() torch.cuda.ipc_collect() ứng dụng = FastAPI() @app.post("/chat", response_class=StreamingResponse) async def create_item(request: Request): mô hình toàn cục, tokenizer json_post_raw = await request.json() json_post = json.dumps(json_post_raw) json_post_list = json.loads(json_post) lời nhắc = _part = response[len(last_response):] last_response = response yield json.dumps(new_part,ensure_ascii=False) return StreamingResponse(stream_chat(), media_type="text/plain") if len(last_response): return '' async def stream_chat(): last_response không cục bộ, lịch sử cho phản hồi, lịch sử trong mô hình.stream_chat(tokenizer, prompt, history=history, max_length=max_length if max_length else 2048, top_p=top_p if top_p else 0.7, temperature=temperature if temperature else 0.95): new_part = response[len(last_response):] last_response = response yield json.dumps(new_part,ensure_ascii=False) return StreamingResponse(stream_chat(), media_type="text/plain") if __name__ == '__main__': tokenizer = AutoTokenizer.from_pretrained("/ứng dụng", trust_remote_code=True) model = AutoModel.from_pretrained("/ứng dụng", trust_remote_code=True).half().cuda() model.eval() uvicorn.run(ứng dụng, máy chủ='0.0.0.0', cổng=80, công nhân=1)
                        

                          mô hình = AutoModel.from_pretrained("/ứng dụng", trust_remote_code=True).half().cuda()

                        

                          mô hình = AutoModel.from_pretrained("/ứng dụng", trust_remote_code=True)
                        

                          TỪ python:3.8-slim-buster WORKDIR /app THÊM ./app CHẠY pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple CMD ["python", "api.py"]

                        

                          ///Được sử dụng để mô phỏng thư viện vector private Dictionary> MemoryList = new Dictionary>(); ///Được sử dụng để tính độ tương tự double Compute(List vector1, List vector2) => vector1.Zip(vector2, (a, b) => a * b).Sum() / (Math.Sqrt(vector1.Sum(a => a * a)) * Math.Sqrt(vector2.Sum(b => b * b))); ... [HttpPost("/api/save")] public async Task SaveMemory(string str) { if (!string.IsNullOrEmpty(str)) { foreach (var x in memory.Split("\n").ToList()) { if (!MemoryList.ContainsKey(x)) { MemoryList.Add(x, await GetEmbeding(x)); StateHasChanged(); } } } return MemoryList.Count; } ... [HttpPost("/api/chat")] public async IAsyncEnumerable SendData(string content) { if (!string.IsNullOrEmpty(content)) { var userquestionEmbeding = await GetEmbeding(content); var prompt = ""; if (MemoryList.Any()) { //Ở đây chúng ta lấy phần tử đầu tiên từ thư viện vector. Bạn có thể thiết lập phần tử này theo tình huống thực tế, chẳng hạn như ngưỡng tương đồng hoặc trả về nhiều mục, v.v. prompt = MemoryList.OrderByDescending(x => Compute(userquestionEmbeding, x.Value)).FirstOrDefault().Key; prompt = $"Bạn là trợ lý hỏi đáp. Bạn cần trả lời các câu hỏi dựa trên các sự kiện sau. Các sự kiện như sau: {prompt}. Câu hỏi của người dùng như sau: {Nội dung}. Đừng bịa ra sự thật, hãy trả lời: "; } else prompt = Content; await foreach (var item in ChatStream(prompt)) { yield return item; } } }

                        

                          async IAsyncEnumerable ChatStream(string x) { HttpClient hc = new HttpClient(); var reqcontent = new StringContent(System.Text.Json.JsonSerializer.Serialize(new { prompt = x })); reqcontent.Headers.ContentType = new System.Net.Http.Headers.MediaTypeHeaderValue("application/json"); var response = await hc.PostAsync("http://192.168.1.100:8081/chat", reqcontent); if (response.IsSuccessStatusCode) { var responseStream = await response.Content.ReadAsStreamAsync(); using (var reader = new StreamReader(responseStream, Encoding.UTF8)) { string line; while ((line = await reader.ReadLineAsync()) != null) { yield return line; } } } } async Task<>> GetEmbeding(string x) { HttpClient hc = new HttpClient(); var reqcontent = new StringContent(System.Text.Json.JsonSerializer.Serialize(new { câu = x })); reqcontent.Headers.ContentType = new System.Net.Http.Headers.MediaTypeHeaderValue("application/json"); var result = await hc.PostAsync("http://192.168.1.100:8080/embed", reqcontent); var content = await result.Content.ReadAsStringAsync(); var embed = System.Text.Json.JsonSerializer.Deserialize<><>>>(content); var embedresult = new List(); for (var i = 0; i < 1024; i++) { double sum = 0; foreach (Danh sách con trong nhúng) { tổng += (danh sách con[i]); } nhúng kết quả.Thêm(tổng / 1024); } trả về kết quả nhúng; }