동기) 내가 가장 하기 싫었던 (귀찮았던) 업무를 GPT에게 시켜보았다.
개요)
일부 사람들은 특정 약물에 약물 부작용 (이하 ADR: adverse drug reation) 을 가지고 있는 경우가 있음.
때문에 병원 전산(EMR)에 환자의 ADR을 등록해야 부작용이 있는 약물을 재처방하는 불상사를 방지할 수 있음.
ADR 이 심한 경우, 아나필락시스 쇼크까지 발생할 수 있기때문에 ADR 등록은 필수적.
문제)
전산(EMR)을 재정비하면서 1400여개의 환자 ADR이 migration 되지 못함.
이를 재등록하기 위해선 migration 되지 못한 환자 하나하나의 ADR 기록을 보고 ATC 코드를 입력해야함.
14000여개의 ADR 중 50개만 무작위 추출하여 GPT한테 시켜봄.
ATC 코드란?
의약품의 분류를 위해서 사용되는 코드 중 하나.
5단계의 계층 구조로 분류됨.
약물 성분을 기반으로 한 코드.
custom instructions 설정)
custom 설정하는 방법 중에 no talk; just do ~~ 문장을 넣었을 때 GPT 답변이 오히려 마음에 들지 않아서 삭제
→ 이렇게 되면 GPT가 주절주절 쓰는게 길어지지만 이 부분에서 GPT가 어느 부분을 잘못 이해하고 놓치고 있는지를 알 수 있어서 좋았음.
prompt)
https://chat.openai.com/share/0af47d9c-efb2-43cc-a89d-f1c155a99144
결과
일치 항목과 불일치 항목이 50:50 으로 50% 의 매칭률을 보임.
확인 결과 GPT가 제시한 ATC 코드 1~5단계 중 5단계를 중점적으로 틀린 것을 확인 할 수 있었음.
① 내가 질문의 수준을 좀 더 전문적이고 정교하게 했더라면 달라졌을까? 아니면
② 애초에 GPT가 5단계를 잘 인지하지 못하고 있는가 ? 하는 의문이 들었음. (처음 ATC코드를 설명해달라고 요청했을 때 4단계까지만 알려줌)
마무리
매칭률이 아쉽긴 하지만 5단계를(ATC코드 중 끝단계를) 교정한다면 매칭률을 적어도 80%까지 끌어올릴 수 있을 것 같음.
3.5 버전이 아닌/4 버전을 사용하면 그만큼의 매칭률을 보일 수 있을 수도?