Gemini 1.5 Pro 의 성능이 좋다는 @유민수(코딩갱)님의 말을 듣고 즉시 테스트해보았습니다.
기존에 구글이 보여준 AI에 실망을 많이했던터라, 별기대를 안하고 써봤는데 생각보다 놀라운 결과를 보게되어 글로 정리하게되었습니다.
(AI의 한계가 궁금하신분은 꼭 보세요!!)
Gemini 1.5 Pro는 현재 무료로 사용할 수 있으며, (https://aistudio.google.com/)
1,000,000 토큰 입력을 지원합니다.
50분 짜리 영상을 다 하나도 빠짐없이 파악하고 정리할 수 있다고 하는데
실제로 그러한지 테스트 해보았습니다.
테스트 1
위 삼성 SDS 세미나 영상을 다운로드 후 Gemini 1.5 Pro에 첨부하고 다음과 같은 프롬프트를 사용했습니다.
해당 영상의 길이는 53분 24초, 토큰으로 변환했을때 945,180 토큰입니다.
현재 무료로 사용가능하며, 만약 GPT-4 turbo를 사용한다면 약 13,000원의 비용을 지불해야하는 작업입니다.
다음과 같이 질문했습니다.
질문: 처음부터 끝까지 슬라이드가 변환되는 부분을 찾아서 유튜브에서 쓸 수 있는 타임스탬프를 만들어줄래?
분명히 영상을 볼 수 있는데, 이러한 답변을 합니다. 새로고침하고 새 대화를 시작하겠습니다.
너무 긴것을 요청하면 잘 못하는거같아, 8분까지만 슬라이드가 바뀌는 시간을 찾아달라고 하겠습니다.
새로운 질문 :처음부터 끝까지 슬라이드가 변환되는 부분을 찾아서 유튜브에서 쓸 수 있는 타임스탬프를 만들어줄래?(8분까지만)
약 30초만에 영상을 분석하고 다음과같이 답변해주었습니다.
위와같이 어떤 구간에, 어떤 내용이 다뤄졌는지 슬라이드가 전환되는 순간을 정확하게 찾아냈습니다.
이것은 제가 글을쓰기전에 미리 해본것인데, 영상을 찍거나 캡쳐를 하진 않았지만 Gemini 1.5 Pro 가 생성한 타임라인입니다.
https://www.youtube.com/watch?v=YzaKbwSVevM 이 영상의 댓글란을 통해 직접 클릭해서 해당 구간으로 이동하실 수 있습니다.
영상을 10분단위로 자동으로 쪼갠 후, Gemini 1.5 Pro API를 사용해서 자동으로 타임라인을 추출하고 합쳐주는 방식으로 진행한다면 더 좋은 결과물이 나올 것 같습니다!
(다음에 랭체인을 배워서 테스트 해보겠습니다! @곽은철님께 여쭈어보니, 랭체인을 활용해서 이렇게 만드는 것이 가능하다고 하십니다!!!)
테스트 2
위 영상을 다운로드 받고 Gemini 1.5 Pro에 업로드 후
'이 영상의 내용의 전체적인 타임스탬프를 만들어줘'라고 말했습니다.
얻을 수 있는 인사이트에 대해 물어보았습니다.
두개의 테스트를 통해 유튜브 영상을 끝까지 보지 않고, 타임스탬프를 생성해보았습니다.
만약 여러분이 직접 만든 영상이라면, 타임스탬프를 Gemini 1.5 Pro 에게 맡기고 그대로 사용해도 될 것 같습니다.(직접 만든 영상은 어떤 내용들을 다루었는지, Gemini 1.5 Pro 가 빠트린것이 무엇인지 바로 알 수 있으니!)
#10기어벤져스