한 줄 요약
AI에게 많은 문서를 읽게 할 때 중요한 건 요약 속도만이 아니었습니다. 실제 연구자료 116건을 처리하면서, 작업이 중간에 멈춰도 다시 이어 가고, 중복을 정리해도 근거를 잃지 않고, 모르는 내용은 모른다고 남기는 profile-extract 스킬을 보강했습니다.
문제: 작은 예제에서는 드러나지 않던 일들
몇 개 문서로 profile을 만들 때는 대체로 문제가 없습니다. 하지만 실제 자료를 넣으면 이야기가 달라집니다. 처리 시간이 길어지고, 같은 성과가 PDF·발표자료·이력서에 반복되며, 출원과 등록처럼 상태가 다른 기록도 섞입니다.
이번에는 논문, 특허, 수상, 경력, 프로젝트, 장비 경험, 교육 자료를 포함한 116개 자료를 처리했습니다. 여기서 700개 후보가 나왔습니다.
문장을 더 잘 쓰는 모델만으로는 부족했습니다.
자료를 끝까지 처리하지 못했을 때 어디부터 다시 시작할지, 비슷한 기록을 합칠 때 무엇을 남길지, 확실하지 않은 문장을 어디에서 멈출지를 정하는 스킬이 필요했습니다.
첫 번째 개선: 멈춘 작업을 처음부터 다시 하지 않게 만들기
자료별 evidence note, 즉 "이 자료에서 무엇을 근거로 읽었는지"를 남기는 첫 배치는 10분 안에 끝나지 않았습니다. 29개 자료는 끝났고, 나머지는 남아 있었습니다.
전체 작업을 다시 돌리는 방법도 있습니다. 다만 이미 끝난 자료를 또 처리하게 되고, 어느 시점의 결과인지도 흐려집니다.
그래서 스킬은 현재 상태부터 확인합니다.
완료된 note 확인
→ 원본 목록과 대조
→ 미처리 목록 생성
→ 남은 자료만 재개
→ 전체 coverage 확인
이번에는 29개 결과를 보존하고, 미처리 87개만 다시 처리했습니다. 마지막에는 116개 자료 모두에 근거 노트가 있는지 확인했습니다.
이건 단순한 속도 문제가 아닙니다. AI 작업이 중간에 끊겼을 때, 처음부터 다시 시작하지 않고 확인한 지점에서 이어 갈 수 있게 하는 방식입니다.
두 번째 개선: 중복 제거가 경력 삭제가 되지 않게 만들기
700개 후보에는 같은 기록이 여러 형태로 들어 있었습니다. 프로젝트 하나가 발표자료와 이력서에 함께 있고, 특허는 출원 자료와 등록 자료가 함께 있을 수 있습니다.
제목이 비슷하다는 이유만으로 항목을 지우면 문서는 깔끔해집니다. 대신 근거는 약해집니다. 어떤 기록이 더 최신인지, 어떤 자료가 더 직접적인지, 정말 같은 실적인지는 제목만으로 알 수 없기 때문입니다.
그래서 judge는 항목을 단순히 남김과 삭제로 나누지 않았습니다.
채택할 항목
중복인 항목
더 최신 기록으로 대체된 항목
각 판정에는 이유와 연결 대상 ID를 남겼습니다. 잘못된 ID가 나오거나 한 category의 coverage가 깨지면, 새 판정을 기존 결과에 덮어쓰지 않도록 했습니다.
개발에서는 이를 fail-closed라고 부릅니다. 확신할 수 없는 결과를 조용히 반영하는 대신, 작업을 멈추고 다시 확인하는 방식입니다.
이번 pilot에서는 중복·최신 판본으로 정리한 항목마다 이유가 남았고, 이유 없이 사라진 항목은 0건이었습니다.
세 번째 개선: 좋은 문장보다 출처를 다시 찾을 수 있게 만들기
profile을 만들며 가장 조심한 것은 전문성을 한 문장으로 부풀리는 일이었습니다.
논문에 어떤 장비가 등장한다고 해서 그 장비를 직접 운용한 경험까지 확정할 수는 없습니다. 팀 프로젝트의 결과가 있다고 해서 개인이 맡은 역할도 자동으로 알 수 없습니다.
그래서 narrative와 build는 역할을 나눴습니다.
narrative가 전문성 서술의 후보를 만듭니다.build가 그 서술을 근거 항목 ID와 출처에 다시 연결합니다.근거가 부족한 내용은
needs_confirmation으로 남깁니다.
이 방식은 profile을 조금 덜 단정적으로 만듭니다. 대신 나중에 "이 문장은 어디에서 왔나?"라고 물었을 때 자료로 돌아갈 수 있습니다.
스킬이 만든 결과: profile에서 연구 질문까지
정리된 profile은 다음 연구 질문을 고르는 입력이 됐습니다.
저선량 in-situ TEM 영상의 구조 보존형 자기지도 복원 검증
이 주제는 AI가 TEM 이미지를 더 선명하게 만들 수 있는지 묻는 데서 끝나지 않습니다.
이미지가 보기 좋아졌을 때, 격자 간격·결함·경계 같은 구조 측정값도 더 믿을 수 있게 되는가?
이 질문은 profile에서 구분한 TEM 경험과 Python·AI 분석 역량을 연결합니다. 아직 실행 결과를 주장하는 단계는 아닙니다.
연구계획은 기준 이미지 또는 합성 열화 데이터를 만들고, 여러 복원 방법을 비교한 뒤, 화질 점수와 구조 측정 오차를 따로 기록하도록 설계했습니다. AI가 낸 이미지를 바로 믿기보다, 그 결과를 의심할 수 있는 비교 방법부터 정한 셈입니다.
스킬이 끝까지 돌아도, 외부 사실은 자동으로 채우지 않는다
profile 이후 아이디어, 연구 설계, 장비 계획, NRF 형식 초안, 내부 검토, 최종 감사까지 workflow는 완료됐습니다. strict validator도 통과했습니다.
최종 감사는 PASS가 아니라 WARN입니다.
최신 문헌 대비 신규성은 확인하지 않았습니다.
실제 TEM/STEM·GPU 접근은 확인하지 않았습니다.
ZEUS 장비 정보는 확인하지 않았습니다.
현재 NRF 공고와 양식은 확인하지 않았습니다.
WARN은 도구가 실패했다는 뜻이 아닙니다. 스킬이 다룰 수 있는 내부 자료의 사실과 외부에서 다시 확인해야 하 는 사실을 구분했다는 뜻입니다.
문서를 만들었다는 것과 연구를 바로 시작하거나 제출할 준비가 됐다는 것은 다릅니다. 이번 스킬 개선에서는 그 차이를 흐리지 않는 것도 중요한 기준이었습니다.
배운 점: AI 활용의 품질은 답의 양보다 다시 확인할 수 있는 경로에 있다
이번에 고친 것은 profile 문장 몇 개가 아닙니다. 실제 자료를 처리하는 AI 스킬의 동작 방식입니다.
재개 가능성
작업이 멈추면 완료된 결과를 보존하고, 미처리 자료만 다시 처리합니다.
안전한 판정
중복을 정리할 때 이유와 연결 ID를 남깁니다. 판정이 깨지면 기존 결과를 덮어쓰지 않습니다.
근거 추적
profile의 문장을 자료와 다시 연결하고, 확인되지 않은 내용은 보류합니다.
AI는 많은 문서를 빠르게 읽습니다. 실제 업무에서는 AI가 멈췄을 때 다시 시작할 수 있는지, 판단했을 때 이유를 남기는지, 모르는 내용을 그럴듯하게 채우지 않는지가 더 중요합니다.
이번 사례는 116개 문서를 요약한 이야기가 아닙니다. 실제 자료가 드러낸 문제를 바탕으로, 다음에도 더 안전하게 profile을 만들 수 있도록 스킬을 고친 기록입니다.
