Google Bổ Sung Xử Lý Video Tác Tử vào Gemini API, Giảm Mức Sử Dụng Token Tới 88%

Google đã ra mắt khả năng hiểu video tác tử cho Gemini API, thay thế việc kiểm tra video ở tốc độ cố định bằng quy trình được định hướng theo truy vấn, có thể lựa chọn những phần của bản ghi cần xem xét. Google cho biết chế độ này sử dụng ít hơn tới 88% token, giảm chi phí phân tích tới 66% và cải thiện độ chính xác tới 7% trên các điểm chuẩn phân tích video của hãng.

Tính năng này ra mắt vào ngày 1 tháng 9 năm 2026 cho Gemini 3.7 Flash, Gemini 3.6 Flash và Gemini 3.5 Flash-Lite trên cả Interactions API và GenerateContent API. Tính năng hỗ trợ các tệp đã tải lên và video YouTube công khai thông qua Google AI Studio và Gemini Enterprise Agent Platform.

Google phát hành Gemini 3.8 Flash một ngày sau đó. Tính đến ngày 3 tháng 9, tài liệu dành cho nhà phát triển đang hoạt động cũng liệt kê mô hình này hỗ trợ khả năng hiểu video tác tử, dù thông báo ban đầu và ghi chú phát hành ngày 1 tháng 9 chỉ nêu ba mô hình Flash trước đó.

1. Gemini Không Còn Phải Xử Lý Mọi Video ở Tốc Độ Cố Định

Chế độ xử lý video tĩnh mặc định của Gemini trích xuất khung hình ở tốc độ cố định một khung hình mỗi giây và đưa ngữ cảnh video thu được vào mô hình trong một lượt duy nhất. Nhà phát triển có thể điều chỉnh tốc độ lấy mẫu, nhưng phải chọn trước khi mô hình trả lời câu hỏi.

Điều này tạo ra sự đánh đổi với các bản ghi dài. Tốc độ lấy mẫu cao tiêu tốn nhiều ngữ cảnh và token đầu vào hơn, trong khi tốc độ thấp có thể bỏ lỡ các hành động ngắn, ranh giới chỉnh sửa, lỗi trực quan hoặc các sự kiện khác xảy ra giữa những khung hình được lấy mẫu. Nhà phát triển có thể xây dựng các pipeline tiền xử lý riêng để tìm kiếm bản chép lời, chia video thành các phân đoạn và lấy mẫu lại những khoảng có triển vọng, nhưng công việc đó nằm bên ngoài mô hình.

Xử lý tác tử đưa các quyết định đó vào vòng lặp suy luận của Gemini. Mô hình có thể điều hướng dòng thời gian theo prompt, yêu cầu các khung hình hoặc âm thanh được chọn, kiểm tra bản chép lời và xem lại các khoảng liên quan ở tốc độ khung hình hoặc độ phân giải khác. Mô hình tải bằng chứng mà nó xác định là cần thiết thay vì tự động đưa một biểu diễn cố định của toàn bộ video vào ngữ cảnh.

Đây là một dạng sử dụng công cụ nội bộ thay vì một hệ thống tạo video mới. Gemini vẫn trả lời các câu hỏi về cảnh quay được cung cấp; thay đổi này liên quan đến cách mô hình thu thập bằng chứng hình ảnh và âm thanh trước khi đưa ra câu trả lời.

Google xác định việc truy xuất khoảnh khắc dưới một giây, phát hiện bất thường, đếm hành động lặp lại, đếm đối tượng và tìm kiếm trên các bản ghi kéo dài nhiều giờ là các ứng dụng mục tiêu. Việc lấy mẫu lại linh hoạt đặc biệt phù hợp khi lần quét ban đầu xác định được một khoảng ngắn có chuyển động nhanh hoặc thay đổi trực quan tinh vi.

2. Nhà Phát Triển Có Thể Chọn Chế Độ Cho Từng Video

Trong Interactions API, nhà phát triển bật tính năng này bằng cách đặt trường processing của đầu vào video thành "agentic". Cấu hình GenerateContent tương đương sử dụng thiết lập mediaProcessing hoặc media_processing, tùy theo SDK.

Việc lựa chọn được thực hiện theo từng video thay vì theo từng yêu cầu. Vì vậy, một ứng dụng so sánh nhiều bản ghi có thể dùng xử lý tác tử cho một bài giảng dài trong khi vẫn giữ xử lý tĩnh cho một thí nghiệm ngắn trong cùng prompt.

Sự khác biệt này quan trọng vì Google không giới thiệu chế độ tác tử là luôn nhanh hơn. Tài liệu của hãng khuyến nghị xử lý tĩnh cho các đoạn video nhạy cảm với độ trễ ngắn hơn năm phút và cho công việc đòi hỏi độ bao phủ khung hình nhất quán trên toàn bộ bản ghi. Điều hướng tác tử có thể làm tăng thời gian đến token đầu tiên trên các đoạn ngắn vì mô hình thực hiện suy luận nội bộ và các lượt gọi công cụ trước khi tạo phản hồi.

Interactions API cho thấy bằng chứng rằng quá trình điều hướng này đã diễn ra. Phản hồi có thể chứa các bước processing_call và processing_result trước đầu ra cuối cùng của mô hình. Ứng dụng có thể dùng các bước đó để hiển thị dấu vết tiến trình, dù không cần gửi phản hồi cho từng lệnh gọi nội bộ. Phản hồi GenerateContent cũng tương tự, lưu giữ các phần lệnh gọi công cụ và phản hồi MEDIA_PROCESSING cho ngữ cảnh suy luận nhiều lượt.

Ngữ cảnh video cũng có thể được giữ lại giữa các lượt trong một tương tác có trạng thái. Điều này cho phép người dùng đặt câu hỏi tiếp theo mà không cần ứng dụng tự tái tạo thủ công quy trình kiểm tra trước đó của mô hình.

Các giới hạn đầu vào video Gemini hiện có vẫn được áp dụng. Tài liệu của Google cho biết các mô hình Gemini 2.5 và mới hơn có thể nhận tối đa 10 video trong một yêu cầu. Đầu vào YouTube phải là công khai thay vì riêng tư hoặc không công khai, và người dùng gói miễn phí bị giới hạn tám giờ tải video YouTube lên mỗi ngày.

3. Các Tuyên Bố về Hiệu Quả Phụ Thuộc vào Video và Câu Hỏi

Các số liệu nổi bật của Google là mức cải thiện tối đa, không phải mức giảm cố định cho mọi yêu cầu. Công ty báo cáo mức tiêu thụ token thấp hơn tới 88%, chi phí phân tích thấp hơn tới 66% và độ chính xác cao hơn tới 7% trên các điểm chuẩn phân tích video tiêu chuẩn của hãng.

Các lợi ích được tuyên bố phù hợp nhất với nội dung dài, bao gồm video hướng dẫn 10 phút, bài giảng 90 phút và các bản ghi kéo dài vài giờ. Với những đầu vào này, một câu hỏi được nhắm mục tiêu hẹp có thể chỉ cần một đoạn bản chép lời và vài khoảng hình ảnh thay vì biểu diễn ở tốc độ cố định của toàn bộ bản ghi.

Mức tiêu thụ token phụ thuộc vào độ phức tạp của truy vấn và độ sâu của việc lấy mẫu linh hoạt. Một câu hỏi chi tiết có thể khiến Gemini kiểm tra nhiều phân đoạn hơn hoặc lấy mẫu các phần được chọn với tốc độ cao hơn một khung hình mỗi giây. Do đó, nhà phát triển không thể giả định rằng mọi yêu cầu sẽ đạt mức giảm 88% được quảng cáo.

Google chưa bổ sung khoản phí tính năng riêng cho khả năng hiểu video tác tử. Các yêu cầu sử dụng mức giá token Gemini API tiêu chuẩn của mô hình liên quan. Mức giảm chi phí được báo cáo đến từ việc xử lý ít token hơn, không phải từ mức giá ưu đãi cho video tác tử.

Mức giảm chi phí tối đa 66% cũng thấp hơn mức giảm token tối đa 88%. Không nên kết hợp các số liệu này như thể chúng mô tả một khối lượng công việc được đảm bảo: đây là các mức tối đa trên điểm chuẩn, và một yêu cầu hoàn chỉnh có thể bao gồm nội dung đa phương tiện được tải linh hoạt, suy luận và token đầu ra được tính phí theo giá của mô hình đã chọn.

Các số liệu của Google vẫn do nhà cung cấp tự báo cáo. Thông báo mô tả kết quả trên các điểm chuẩn phân tích video và minh họa Gemini 3.7 Flash trong việc hiểu video dài, đếm hành động nhanh và truy xuất needle-in-a-haystack, nhưng không chứng minh rằng mọi khối lượng công việc trong môi trường sản xuất sẽ cải thiện ở cùng mức độ. Các nhóm áp dụng chế độ này sẽ cần thử nghiệm tương ứng bằng video, prompt, yêu cầu độ trễ và tiêu chí chấm điểm của riêng họ.

4. Tác Động Trước Mắt Là Đối Với Thiết Kế Ứng Dụng Video Dài

Thay đổi này giảm nhu cầu để nhà phát triển xây dựng các hệ thống tìm kiếm bản chép lời và chọn khung hình chủ chốt riêng biệt trước khi gửi một video dài tới Gemini. Một ứng dụng có thể cung cấp bản ghi và câu hỏi, cho phép mô hình quyết định cần truy xuất bằng chứng nào, rồi kiểm tra các bước xử lý được trả về để xác nhận rằng điều hướng tác tử đã được sử dụng.

Nó cũng thay đổi cách ước tính chi phí. Xử lý tĩnh gắn kích thước đầu vào trực tiếp hơn với thời lượng video và cấu hình lấy mẫu được chọn. Xử lý tác tử có thể khiến một truy vấn được nhắm mục tiêu rẻ hơn đáng kể, nhưng mức sử dụng token thay đổi theo nội dung mà mô hình quyết định tải. Các hệ thống sản xuất sẽ cần đo lường mức sử dụng theo từng nhóm truy vấn thay vì chỉ dựa vào độ dài video.

Theo hướng dẫn dành cho nhà phát triển đã cập nhật, ma trận hỗ trợ hiện tại bao gồm Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash và 3.5 Flash-Lite. Chế độ tĩnh vẫn là mặc định, vì vậy các tích hợp hiện có không tự động chuyển hành vi xử lý.

Bản phát hành API là giai đoạn triển khai đầu tiên. Google cho biết khả năng hiểu video tác tử sau đó sẽ đến với các mô hình Flash và Flash-Lite trong ứng dụng Gemini dành cho người dùng. Công ty cũng dự định sử dụng nó cho tính năng “Ask YouTube” của YouTube trong những tháng tới, với câu trả lời bám sát hơn vào nội dung hình ảnh của video. Google không cung cấp ngày triển khai chính xác cho cả hai tích hợp dành cho người dùng.

Câu hỏi thường gặp

Khả năng hiểu video tác tử là gì?

Đây là chế độ xử lý Gemini chọn linh hoạt các phân đoạn video, khung hình, âm thanh và đoạn bản chép lời dựa trên câu hỏi của người dùng, thay vì xử lý toàn bộ bản ghi ở tốc độ khung hình cố định.

Những mô hình Gemini nào hỗ trợ tính năng này?

Tài liệu hiện tại của Google liệt kê Gemini 3.8 Flash, Gemini 3.7 Flash, Gemini 3.6 Flash và Gemini 3.5 Flash-Lite. Đợt ra mắt ban đầu ngày 1 tháng 9 bao gồm ba mô hình sau.

Tính năng này có luôn giảm mức sử dụng token 88% không?

Không. Google nói “up to” 88%. Mức tiêu thụ thực tế phụ thuộc vào video, độ phức tạp của truy vấn và mức độ mô hình lấy mẫu lại các phân đoạn liên quan.

Kích hoạt xử lý tác tử có đắt hơn không?

Không có phí tính năng riêng. Mức giá token Gemini API tiêu chuẩn được áp dụng, dù số token tiêu thụ thay đổi theo từng yêu cầu.

Nhà phát triển có nên dùng tính năng này cho video ngắn không?

Không nhất thiết. Google khuyến nghị xử lý tĩnh cho các đoạn video nhạy cảm với độ trễ dưới năm phút và các tác vụ đòi hỏi kiểm tra khung hình đồng đều trên toàn bộ video.

Tham khảo nguồn

• Thông báo gốc của Logan Kilpatrick trên X
• Google: Giới thiệu khả năng hiểu video tác tử với Gemini
• Tài liệu về khả năng hiểu video của Gemini API
• Ghi chú phát hành Gemini API
• Bảng giá Gemini Developer API
• Android Authority: Gemini hiện phân tích video của bạn chính xác hơn và với chi phí thấp hơn