AI로 논문 메타분석시키기
2026.01.20

소개
시도하고자 했던 것과 그 이유를 알려주세요.
(내용 입력)
저는 제안서나 논문과 같은 긴 호흡의 생각이 필요한 문서를 자주 작성합니다. 그러다보니 AI와 함께 일을 함에 있어서 아쉬운 점이 많았습니다. 아무래도 AI가 하는 답변이 너무 일반적이기 때문이죠.
그래서 대화를 열심히 하다보면 일반적으로 컨텍스트가 길어지게 되고, 이로 인해 성능이 떨어지기 일쑤였습니다.
그러던 와중, 어제 개발자F님의 강의를 듣고 계획.md를 세우고, 세부내용으로 작업계획.md를 만든 뒤 한 챕터씩만 작업시키고 문서로 업데이트하는 방법을 보고 유레카를 외쳤습니다.
이번에 시도한 작업은 약 100개 되는 논문 파일을 주고, 이에 대해 메타분석하는 것이었습니다.
진행 방법
어떤 도구를 사용했고, 어떻게 활용하셨나요?
클로드코드를 활용했구요, 이전 글에서 원문 pdf로 요약 시도하다가 토큰이 녹아버리는 바람에 원문은 제미나이와 함께 2시간쯤 투자해서 손요약 했구요, 요약된 md파일로 클로드코드 작업을 진행하였습니다.
대략적인 프롬프트 흐름은 아래와 같습니다. (구체적인 프롬프트는 전문 죄다 clear해서 날아갔습니다.. 혹시 clear 한 프롬프트 다시 볼 수 있는 방법이 있나요?)
현재 폴더의 연구 동향을 체계적으로 분석하고, 새로운 연구 방향 도출하기 위한 분석계획.md 수립해줘.이후 분석계획.md파일을 세분화 시킨 다음 매 작업마다 phase별로 작업을 진행했습니다.
이때 작업을 phase별로 짧게 끊어놨기 때문에, 매번 새로운 context를 실행할 때 반복작업을 하지 않도록 분석계획.md에 현재 진행상황(체크박스)와 요약물을 업데이트시켰습니다. 그 결과 phase 4까지 진행하여 나온 파일은 아래와 같습니다.

결과와 배운 점
결과물의 만족도는 한 65점정도 되는것같습니다. 왜냐면, 이 친구들이 어쨌든 phase를 나누는 과정에서 요약된 정보를 가지고 다음 단계로 넘어가게 되는데, 그 과정에서 너무 많은 정보가 소실되더군요. 이 부분은 어떻게 개선할 수 있을지 고민해봐야겠습니다.
그러나 phase를 나누고 이를 기록함으로써 이런 긴 호흡의 작업이 가능하다는게 너무 신세계라 앞으로 모든 작업분야에서 ai를 접목해볼것같아요.
더욱이 이로 인해 기록의 중요성을 뼈저리게 느끼고 있습니다..
로그인하고 댓글을 남겨 주세요
논문 100개ㅎㄷㄷ;;
자동화라기 보단 프로젝트급 아닙니까??ㅋㅋ
한 개 파일에 얼마나 방대한 양인지 모르겠지만...
제 생각은 저렇게 쪼개어도 토큰이 크게 차이 안 날거 같아요
100개 수준을 한 번에 해본적이 없다보니
퍼포먼스 비교를 해보진 않았습니다.
제 생각은 위 방법보다는
바구니(파일을)를 만들고
채워 넣어라(순서대로 추가)하는게 더 좋을거 같은데요
저 파일을 만들고 나누는 것도 새로운 세팅이기 때문에
계속 토큰 사용량과 컨텍스트 량이 늘어 나거든요
- 1개 목록만 기억하고 내용을 한방에 정리하는게 아니라
추가추가하면 되는데 되는데
- 12개 만들고, 12만든거 기억하고, 작성하고,
- 앞에 기억 다시 가지고와서 작성하고...
=>이렇게 불필요한 명령을 계속 반복하면....
컨텍스트가 결국 늘어나요
정확한건 프롬프트를 어떻게 하셨고....
AI Agent가 어떤 작업 과정을 거치는지 살펴봐야
정확하게 진단가능합니다.
- 기억으로 일을 하는 것인지
- 반복 작업을 하는 것인지...
"clear 한 프롬프트 다시 볼 수 있는 방법이 있나요"
네.
/resume 라고 입력하고 엔터치면
채팅창처럼 이전 대화 히스토리를 선택 및 호출할 수 있고
불러와서 1. 대화내용 확인하기, 2. 작업 이어서 하기
를 할 수 있습니다.
/compact 대화의 맥락은 길어지는데 효율성을 높여야할 때
대화내용을 압축하는 것입니다.
단, 너무 오래전 대화내용은 세부기억을 소실합니다.
최신성, 중요성을 기준으로 기억을 남기고 요약해버림



논문 100개 메타분석이라니… DBPia에서 모셔갈 듯 ㅋㅋㅋ 오프때 말씀하셨던 거 바로 실행하시는 모습 리스펙합니닷…
계획.md -> 작업계획.md -> 단계별 실행에서 유레카 외치셨다는 게 와닿아요. 저도 긴 호흡 작업할 때 phase 나누고 기록하는 방식 쓰는데, 중간에 끊겨도 어디까지 했지?가 바로 보여서 좋아요.
100개 논문 다루시면서 기록의 중요성 느끼신 거면 정말 진짜일 거예요 ㅎㅎ 정보 소실 문제는 요약할 때 핵심 키워드를 명시적으로 보존하도록 프롬프트 조정해보시는 것도 방법이에요. 메타분석 결과 나오면 공유해주세요!