Gemini 1.5 Pro 성능테스트 - 50분짜리 영상의 타임스탬프 추출하기
2024.04.20

Gemini 1.5 Pro 의 성능이 좋다는 @유민수(코딩갱)님의 말을 듣고 즉시 테스트해보았습니다.
기존에 구글이 보여준 AI에 실망을 많이했던터라, 별기대를 안하고 써봤는데 생각보다 놀라운 결과를 보게되어 글로 정리하게되었습니다.
(AI의 한계가 궁금하신분은 꼭 보세요!!)
Gemini 1.5 Pro는 현재 무료로 사용할 수 있으며, (https://aistudio.google.com/)
1,000,000 토큰 입력을 지원합니다.

50분 짜리 영상을 다 하나도 빠짐없이 파악하고 정리할 수 있다고 하는데
실제로 그러한지 테스트 해보았습니다.
테스트 1
위 삼성 SDS 세미나 영상을 다운로드 후 Gemini 1.5 Pro에 첨부하고 다음과 같은 프롬프트를 사용했습니다.

해당 영상의 길이는 53분 24초, 토큰으로 변환했을때 945,180 토큰입니다.
현재 무료로 사용가능하며, 만약 GPT-4 turbo를 사용한다면 약 13,000원의 비용을 지불해야하는 작업입니다.
다음과 같이 질문했습니다.
질문: 처음부터 끝까지 슬라이드가 변환되는 부분을 찾아서 유튜브에서 쓸 수 있는 타임스탬프를 만들어줄래?

분명히 영상을 볼 수 있는데, 이러한 답변을 합니다. 새로고침하고 새 대화를 시작하겠습니다.
너무 긴것을 요청하면 잘 못하는거같아, 8분까지만 슬라이드가 바뀌는 시간을 찾아달라고 하겠습니다.
새로운 질문 :처음부터 끝까지 슬라이드가 변환되는 부분을 찾아서 유튜브에서 쓸 수 있는 타임스탬프를 만들어줄래?(8분까지만)
약 30초만에 영상을 분석하고 다음과같이 답변해주었습니다.

위와같이 어떤 구간에, 어떤 내용이 다뤄졌는지 슬라이드가 전환되는 순간을 정확하게 찾아냈습니다.

이것은 제가 글을쓰기전에 미리 해본것인데, 영상을 찍거나 캡쳐를 하진 않았지만 Gemini 1.5 Pro 가 생성한 타임라인입니다.
https://www.youtube.com/watch?v=YzaKbwSVevM 이 영상의 댓글란을 통해 직접 클릭해서 해당 구간으로 이동하실 수 있습니다.
영상을 10분단위로 자동으로 쪼갠 후, Gemini 1.5 Pro API를 사용해서 자동으로 타임라인을 추출하고 합쳐주는 방식으로 진행한다면 더 좋은 결과물이 나올 것 같습니다!
(다음에 랭체인을 배워서 테스트 해보겠습니다! @곽은철님께 여쭈어보니, 랭체인을 활용해서 이렇게 만드는 것이 가능하다고 하십니다!!!)
테스트 2
위 영상을 다운로드 받고 Gemini 1.5 Pro에 업로드 후
'이 영상의 내용의 전체적인 타임스탬프를 만들어줘'라고 말했습니다.

얻을 수 있는 인사이트에 대해 물어보았습니다.

두개의 테스트를 통해 유튜브 영상을 끝까지 보지 않고, 타임스탬프를 생성해보았습니다.
만약 여러분이 직접 만든 영상이라면, 타임스탬프를 Gemini 1.5 Pro 에게 맡기고 그대로 사용해도 될 것 같습니다.(직접 만든 영상은 어떤 내용들을 다루었는지, Gemini 1.5 Pro 가 빠트린것이 무엇인지 바로 알 수 있으니!)
#10기어벤져스
로그인하고 댓글을 남겨 주세요




승우님, Gemini 1.5 Pro의 테스트 결과 공유 감사합니다! 영상 분석에 대한 기대치가 낮았음에도 불구하고, 시간을 쪼개서 실제로 좋은 결과를 얻으셨다니 다행이네요. 앞으로도 유용한 도구들을 많이 소개해주세요 :)