Hướng dẫn SillyTavern về Thông tin Thế giới cho API cửa sổ ngữ cảnh 100k

Câu trả lời ngắn gọn: thiết lập trong năm bước

Hướng dẫn thông tin thế giới SillyTavern này bắt đầu với phần mà hầu hết mọi người muốn nhất. Để sử dụng Thông tin Thế giới với API này, bạn kết nối SillyTavern với endpoint, tăng kích thước ngữ cảnh, sau đó tạo các mục phù hợp với ngân sách token.

1. Tạo một khóa API trên trang key.
2. Trong SillyTavern, mở bảng kết nối API, chọn Hoàn thành Trò chuyện và chọn nguồn Tùy chỉnh (tương thích OpenAI).
3. Đặt URL endpoint là https://api.uncensoredvideo.top/v1, dán khóa và nhập uncensored làm ID mô hình.
4. Đặt kích thước ngữ cảnh phù hợp với cửa sổ 100.000 token, để lại chỗ cho phản hồi.
5. Mở Thông tin Thế giới, tạo sách, đính kèm nó vào nhân vật hoặc cuộc trò chuyện của bạn và tinh chỉnh các cài đặt ngân sách được đề cập bên dưới.

Nhãn menu thay đổi giữa các phiên bản SillyTavern, nên hãy coi các tên ở đây như một bản đồ hơn là văn bản chính xác. Tên trang web có đề cập đến video, nhưng dịch vụ này là một API chat văn bản: một mô hình trọng số mở, được tinh chỉnh để trả lời mà không từ chối nội dung cho người trưởng thành hợp pháp, không có tạo ảnh, âm thanh hoặc video. Nội dung tình dục liên quan đến người chưa thành niên không được phép.

Kiểm tra endpoint trước khi chạm vào SillyTavern

Khi kết nối thất bại, nguyên nhân gần như luôn là lỗi gõ phím trong URL hoặc khóa API. Một lệnh kiểm tra một dòng sẽ giúp bạn tránh việc đoán mò. Danh sách này liệt kê các mô hình có sẵn:

Copycurl https://api.uncensoredvideo.top/v1/models   -H "Authorization: Bearer YOUR_KEY"

Sau đó, gửi một lệnh hoàn tất trò chuyện ngắn để xác nhận việc tạo phản hồi hoạt động:

Copycurl https://api.uncensoredvideo.top/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Reply with the word ready."}],"max_tokens":10}'

Nếu cả hai trả về JSON, SillyTavern sẽ kết nối với các giá trị giống nhau. Base URL kết thúc bằng /v1 và không bao gồm /chat/completions; SillyTavern thêm đường dẫn này. 401 nghĩa là key sai. Tài liệu tham khảo request đầy đủ có trong API docs.

Tại sao Thông tin Thế giới cần một cửa sổ lớn

World Info, còn gọi là lorebook, tiêm các mục vào prompt khi từ khóa của chúng xuất hiện trong cuộc trò chuyện gần đây. Mục đích là giữ một thế giới rộng lớn ra khỏi prompt cho đến khi nó liên quan. Nhưng các mục vẫn nằm trong prompt khi chúng được kích hoạt, bên cạnh thẻ nhân vật, lịch sử trò chuyện và system prompt của bạn. Trên một cửa sổ nhỏ, tất cả những thứ đó cạnh tranh không gian, và lorebook thua.

Một cửa sổ 100.000 token, bao phủ prompt plus completion, thay đổi sự cân bằng. Bạn có thể chịu đựng một character card dài, 50 hoặc nhiều hơn các tin nhắn lịch sử và một vài mục lore cùng lúc. Cửa sổ không có nghĩa là bạn nên lấp đầy nó. Một prompt dài hơn chậm hơn để xử lý, tốn nhiều hơn mỗi tin nhắn, và cung cấp cho mô hình nhiều thứ hơn để bỏ qua. Mục tiêu là context liên quan, không phải context tối đa.

Một sự phân chia thực tế cho một cửa sổ 100.000 token:

• Character card và persona: 1.500 đến 3.000 token
• Ngân sách Thông tin Thế giới: 4.000 đến 10.000 token
• Lịch sử trò chuyện: bất cứ thứ gì còn lại, lên đến giới hạn bạn chọn
• Không gian phản hồi: 500 đến 1.500 token

Các con số này là đề xuất cho một trò nhập vai điển hình, không phải yêu cầu API. Hầu hết các phiên không bao giờ cần các giới hạn trên.

Xây dựng các mục hiệu quả

Từ khóa và nội dung

Mỗi mục có các từ khóa chính kích hoạt nó và một trường nội dung được đưa vào. Viết từ khóa theo cách người chơi thực sự nói. Đối với một thành phố, thêm tên, biệt danh và tên quận. Các mục khớp với các tin nhắn gần đây, vì vậy một từ khóa chỉ xuất hiện trong văn bản lore chính nó sẽ không bao giờ kích hoạt.

Giữ nội dung ngắn gọn và thực tế

Viết các mục dưới dạng các tuyên bố ngắn gọn, không phải văn xuôi. So sánh hai cái này:

Harrow Quay: quận cảng, do Hội Muối kiểm soát. Buôn lậu được chấp nhận, giết người thì không. Giới nghiêm vào lúc nửa đêm, được thực thi bởi lính canh thuê.

Một đoạn văn mô tả không khí cho cùng một nơi có thể dài gấp bốn lần và thêm vào ít giá trị mà mô hình có thể tự tạo ra. Dự trữ các mục dài cho các sự thật mà mô hình phải hiểu đúng: tên, quy tắc phép thuật, ai nợ ai.

Các mục cố định, chọn lọc và đệ quy

• Các mục cố định luôn được đưa vào. Hãy dùng chúng cho các quy tắc áp dụng cho mọi cảnh, chẳng hạn như tông màu của thế giới hoặc cách thức hoạt động của phép thuật, và hãy giữ tổng số lượng nhỏ.
• Các mục chọn lọc sử dụng từ khóa phụ làm bộ lọc, vì vậy "rồng" chỉ kích hoạt khi "hang động" cũng được đề cập.
• Quét đệ quy cho phép văn bản của một mục kích hoạt các mục khác. Nó mạnh mẽ cho thông tin nền liên kết, và nó có thể kéo vào nhiều hơn bạn mong đợi. Đặt giới hạn trên các bước đệ quy.

Vị trí và thứ tự

Các mục có thể được chèn trước hoặc sau các định nghĩa nhân vật, hoặc ở độ sâu cố định trong cuộc trò chuyện. Một độ sâu gần cuối lịch sử đặt sự kiện gần với tin nhắn mới nhất, nơi các mô hình có xu hướng đánh giá cao nó hơn. Các giá trị thứ tự quyết định các mục nào sống sót khi ngân sách chặt chẽ, vì vậy hãy đưa lore thiết yếu có mức độ ưu tiên cao hơn.

Các cài đặt kiểm soát chi tiêu token

Bảng Thông tin Thế giới có một số điều khiển toàn cầu. Tên thay đổi theo phiên bản, nhưng những điều này tồn tại trong các bản phát hành gần đây.

Độ sâu quét lớn hơn sẽ bắt được các thông tin nền được nhắc đến vài lượt trước đó, với cái giá là nhiều kích hoạt sai hơn. Với 100.000 token khả dụng, việc giới hạn ngân sách chủ yếu là để kiểm soát chi phí hơn là vừa với cửa sổ ngữ cảnh. Nếu bạn thấy mô hình đột nhiên viết về một thứ gì đó không liên quan, một từ khóa đang kích hoạt quá rộng; hãy chuyển nó sang chế độ chọn lọc.

Bạn cũng nên kiểm tra xem cài đặt lịch sử trò chuyện trong SillyTavern có không cắt bớt các tin nhắn trước thời điểm bạn dự định hay không. Trường kích thước ngữ cảnh là giới hạn về những gì SillyTavern gửi, vì vậy nếu nó vẫn ở mức mặc định nhỏ, cửa sổ lớn sẽ không được sử dụng.

Một phiên roleplay tốn bao nhiêu

Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Đóng vai là loại nặng về đầu vào, vì SillyTavern gửi lại thẻ nhân vật, lore và lịch sử trong mỗi tin nhắn.

Lấy một prompt của 12.000 token (thẻ nhân vật, một vài mục thông tin nền, lịch sử) và một phản hồi của 400 token.

• Đầu vào: 12.000 / 1.000.000 x $0,15 = $0,0018
• Đầu ra: 400 / 1.000.000 x $0,50 = $0,0002
• Tổng cộng: $0.002 cho mỗi tin nhắn

Một trăm tin nhắn có giá $0,20. Tín dụng dùng thử $0,50 bao phủ khoảng 250 tin nhắn ở kích thước này. Đẩy prompt lên 40.000 token và cùng phản hồi đó tốn 40.000 / 1,000,000 x $0,15 = $0,006 cho input cộng $0,0002 cho output, vậy $0,0062 mỗi tin nhắn, và bản dùng thử kéo dài khoảng 80 tin nhắn (0,50 / 0,0062 là khoảng 80,6). Đó là chi phí của một ngân sách lorebook rất lớn và lịch sử dài, và đó là lập luận cho các mục chặt chẽ.

Bạn có thể nhận tín dụng dùng thử chỉ bằng một cú nhấp chuột trên trang khóa API sau khi đăng ký, không cần phương thức thanh toán, có hiệu lực trong 7 ngày và giới hạn một người dùng mỗi người. Nạp tiền từ $20 đến $500 với bất kỳ số nguyên nào, cộng thêm +5% từ $50, +10% từ $100 và +15% từ $200. Trang web này chỉ chấp nhận tiền mã hóa: USDT trên TRC20 hoặc USDC trên Base. Tín dụng không bao giờ hết hạn, và các yêu cầu thất bại hoặc bị từ chối sẽ không bị tính phí. Chi tiết đầy đủ có trên trang giá cả.

Khắc phục sự cố và giới hạn

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. SillyTavern có thể vượt quá hai yêu cầu đồng thời với các cuộc trò chuyện nhóm, các hành động được kích hoạt nhanh hoặc một tab thứ hai, và một phản hồi truyền phát giữ vị trí của nó cho đến khi kết thúc. API sau đó trả về HTTP 429 với mã concurrency. Việc vượt quá tốc độ yêu cầu trả về rate_limited, và quá tải tạm thời đi kèm với tiêu đề Retry-After: 5. Chờ vài giây và thử lại là đủ.

• Phản hồi bị cắt ngắn. Hãy kiểm tra chiều dài phản hồi tối đa trong SillyTavern. Nó đặt max_tokens, đây là tùy chọn trên API này.
• Lore không bao giờ kích hoạt. Hãy tăng độ sâu quét và kiểm tra chính tả từ khóa so với cách nó xuất hiện trong cuộc trò chuyện.
• Phản hồi bỏ qua lore đã kích hoạt. Hãy di chuyển mục đó đến độ sâu gần hơn với cuối lịch sử, hoặc rút ngắn nó để nó nổi bật.
• Prompt cảm thấy chậm. Giảm giới hạn ngân sách và độ dài lịch sử trò chuyện trước khi đổ lỗi cho endpoint.

Đối với các nhân vật nói theo một phong cách cố định, hãy đặt temperature khoảng 0,8 đến 1,0 và thêm một hình phạt tần suất nhẹ nếu mô hình lặp lại các cụm từ. Các prompt không được sử dụng để huấn luyện. Mô hình là một mô hình trọng số mở đơn lẻ do một nhà cung cấp độc lập vận hành, không phải là bộ định tuyến giữa các nhà cung cấp, vì vậy chất lượng phụ thuộc vào mô hình đó hơn là một nhóm.

Hướng dẫn khác

• API Midjourney: Phân tích chi phí và tích hợp văn bản