Gemini API 에이전트형 영상 분석 출시: processing agentic 한 줄로 토큰 최대 88% 줄인다

2026년 9월 2일 새벽 2시(KST), Google이 Gemini API에 에이전트형 영상 이해(agentic video understanding)를 내놓았다. 영상 입력에 "processing": "agentic" 한 줄을 넣으면 모델이 무엇을, 어떤 속도로, 프레임·오디오·자막 중 무엇으로 볼지 스스로 정해 필요한 부분만 불러온다. Google은 토큰 최대 88%, 비용 최대 66% 절감과 정확도 최대 7% 향상을 제시했다. 추가 기능 요금 없이 Google AI Studio와 Gemini Enterprise Agent Platform에서 쓸 수 있다.

출처: X @GoogleDeepMind

에이전트형 영상 이해는 어떻게 다른가

기존 static 모드는 영상을 기본 1FPS의 고정 간격으로 통째 넣는다. agentic 모드는 Think → Act → Observe를 반복하며 질문에 필요한 부분을 찾는다. 처음에는 길이·형식·파일 ID 같은 가벼운 영상 참조를 받고, 말이 중심이면 자막을 먼저 살핀다. 화면이 필요할 때는 해당 구간만 가져와 프레임 속도를 조절하고, 소리가 중요하면 오디오를 읽는다.

예를 들어 움직임이 빠른 장면은 5~10FPS로 다시 보고, 긴 영상에서 넓은 흐름을 훑을 때는 0.1FPS로 살필 수 있다. 자막 조회, 특정 시작·종료 시점의 프레임 추출, 해당 구간 오디오 확인을 모델이 처리한다. 응답의 steps에서 processing_call과 processing_result를 확인할 수 있다.

출처: X @GoogleAIStudio

벤치마크: 토큰 최대 88% 절감, 정확도 최대 7% 향상

Gemini 3.7 Flash 기준 세 벤치마크에서 static과 agentic 결과를 비교했다.

측정 조건은 high thinking, 저해상도, static 1FPS다. 1H-VideoQA 비교에서 agentic을 켠 Gemini 3.7 Flash는 비교 모델 가운데 쿼리 비용이 낮은 쪽에서 가장 높은 정확도를 기록했다.

10분짜리 사용법 영상부터 90분 강의, 몇 시간 녹화까지 긴 영상에서 절감 효과가 커진다.

할 수 있는 일

• 1초 미만의 순간 찾기: 1FPS가 놓치는 컷 경계나 자동 편집 후보를 찾는다.
• 몇 시간 영상에서 특정 장면 검색: 전체 영상을 수백만 토큰으로 넣지 않고 원하는 부분을 찾는다.
• 이상 감지: 의심 구간을 높은 프레임 속도로 다시 확인한다.
• 동작과 물체 세기: 영상 속 동작을 따라가며 횟수를 센다.

출처: X @googleaidevs

먼저 써 본 회사들

• Ponder: 원본 촬영분에서 쓸 장면을 찾던 자체 파이프라인을 호출 한 번으로 대체했다. 같은 재현율에 입력 토큰은 약 3.5배 적게 들었다.
• Revyl: 클라우드 기기의 iOS·Android 앱을 에이전트로 개발·테스트한다. 스크린샷 검증이 놓치던 빠른 화면 전환을 포착해 애니메이션이 많은 앱도 테스트할 수 있었다.
• Resemble AI: 라벨이 붙은 영상 약 1,000개와 실시간 딥페이크 탐지 작업에서 기존 Gemini 구성보다 긴 영상 설명이 정확해졌고 입력 토큰은 57% 감소했다.
• Mosaic: 편집 평가에서 입력 토큰 중앙값이 97% 감소하고 제약 조건 충족률은 약 2배가 됐다. 4.5시간 팟캐스트를 끝까지 처리한 유일한 모드였다.

Gemini API에서 processing agentic 쓰는 법

9월 2일 발표 때는 Gemini 3.7 Flash·3.6 Flash·3.5 Flash-Lite 세 모델이었고, 9월 3일(KST) 출시된 Gemini 3.8 Flash가 이후 추가됐다. 예시는 Python Google Gen AI SDK의 Interactions API를 사용한다.

1. 파일 업로드 후 agentic 처리

import time
from google import genai

client = genai.Client()

# Upload a video
video_file = client.files.upload(file="path/to/lecture.mp4")
while video_file.state.name == "PROCESSING":
    time.sleep(2)
    video_file = client.files.get(name=video_file.name)

# Use agentic video processing
interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": video_file.uri,
            "mime_type": video_file.mime_type,
            "processing": "agentic"
        },
        {"type": "text", "text": "What are the three main arguments presented?"}
    ]
)
print(interaction.output_text)
print(interaction.usage.total_tokens)

usage.total_tokens로 요청마다 쓴 토큰을 바로 확인할 수 있다.

2. 한 요청에서 agentic과 static 섞기

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        # 45-minute reference match: process agentically
        {
            "type": "video",
            "uri": full_match_file.uri,
            "mime_type": "video/mp4",
            "processing": "agentic",
        },
        # 10-second query clip: process statically
        {
            "type": "video",
            "uri": highlight_snippet_file.uri,
            "mime_type": "video/mp4",
            "processing": "static",
        },
        {
            "type": "text",
            "text": "Find the exact timestamp in the full recording where the highlight sequence occurred.",
        },
    ],
)
print(interaction.output_text)

3. 공개 YouTube URL 분석

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic"
        },
        {
            "type": "text",
            "text": "What are the 3 most important announcements in this keynote?",
        },
    ],
)
print(interaction.output_text)

지원 형식은 MP4, MPEG, MOV, AVI, FLV, MPG, WebM, WMV, 3GPP다. Files API는 유료 최대 20GB·무료 최대 2GB, Cloud Storage 등록 파일은 파일당 최대 2GB다. 인라인 입력은 100MB 미만이고 짧은 영상에 맞는다. 1M 컨텍스트 모델은 저해상도 최대 약 3시간, 고해상도 최대 약 1시간을 처리한다. 공개 YouTube URL을 지원하며 무료 등급은 하루 최대 8시간이다.

agentic과 static 고르는 기준

Google 가이드는 agentic으로 먼저 시작할 것을 권한다. 짧은 영상은 agentic 탐색 단계의 지연과 static의 빠른 일괄 분석을 비교해 선택하면 된다.

요금

agentic 기능 자체의 추가 요금은 없다. 기본 모델 요금이 적용되고, 실제 불러온 영상 프레임·오디오와 초기 참조 입력, 모델의 추론·도구 호출은 토큰 기준으로 과금된다. 같은 영상을 여러 턴에서 다시 쓰면 암시적 캐싱이 적용될 수 있고 명시적 캐시도 쓸 수 있다. Batch API로 처리하면 가격이 50%다.

Gemini 앱과 Ask YouTube에도 들어간다

Google은 Gemini 앱의 Flash·Flash-Lite 모델에 이 기능을 곧 확대하고, 앞으로 몇 달 안에 YouTube 시청 페이지의 Ask YouTube에도 적용하겠다고 밝혔다.

출처: X @patloeber

함께 보면 좋은 글

구글, 3주 만에 또 새 모델, Gemini 3.7 Flash, 가격은 반값과 제미나이 3.7 플래시 ARC-AGI 검증 점수와 가격에서 Gemini 모델 소식을 더 볼 수 있다. 영상에서 질문을 따라 필요한 작업을 수행하는 방식은 코딩 에이전트의 에이전트 개념과도 이어진다.

출처

• Google 블로그: Introducing agentic video understanding with Gemini
• Google AI Studio 개발자 가이드
• Gemini API Video understanding 문서
• X: @GoogleDeepMind, @GoogleAIStudio, @googleaidevs, @patloeber