아티클
아티클 요약
- ChatGPT를 이용하여 질문을 제공하고 SQL 쿼리를 생성, 퍼포먼스를 비교
- 오류 발생 시 단순 재시도 요청과 사례 제시가 100% 개선을 보장하지는 않음
- 대부분 중간 이상의 성과를 내지만, 1393. Capital Gain/Loss에서 반복 오류 발생
아티클 보강: 개선 테스트
- 기사에서는 608. Treenode 항목이 오답을 반환한 경우로 제시됐으나, 현재 테스트하는 경우 정확한 답변으로 보통 이상의 퍼포먼스를 제공
- ChatGPT로 응답을 생성할 때, 첫 번째 답변이 틀리는 경우 반복 질문하기보다 대화창을 종료하고 다시 질문하는 쪽이 정확한 답변을 도출
- 반복적인 오류를 만들어내는 1393. Capital Gain/Loss 의 경우 최초 응답은 다음과 같음:
SELECT stock_name,
SUM(CASE WHEN operation = 'Sell' THEN -price ELSE price END) AS capital_gain_loss
FROM Stocks
GROUP BY stock_name;이 경우에는 답이 틀렸다고 지적하거나 사례를 제공하더라도 쿼리가 복잡해지기만 하고, 갈수록 전혀 올바르지 않은 답, 가령 기사에 인용된 바와 같이 28,980과 같은 부정확한 숫자를 생성함.
그러나 ChatGPT가 언어 모델이며, ‘판매’ 같은 단어가 주로 -로 처리됐으리라 가정하여 ChatGPT가 과제의 특수한 문맥을 이해하도록 문장으로 조건을 표기할 수 있음.
즉 “판매하는 경우 대금을 받게 되므로 가격은 양수로 처리(a 'Sell' operation needs to be considered a gain)”라는 조건을 추가하면 답변이 즉시 정확하 게 개선됨.
즉 “판매하는 경우 대금을 받게 되므로 가격은 양수로 처리(a 'Sell' operation needs to be considered a gain)”라는 조건을 추가하면 답변이 즉시 정확하 게 개선됨.
SELECT stock_name,
SUM(CASE WHEN operation = 'Sell' THEN price ELSE -price END) AS capital_gain_loss
FROM Stocks
GROUP BY stock_name;해당 쿼리는 테스트를 통과하고, 런타임 또한 821㎳로 상위 36%의 퍼포먼스를 보임. 여기에 명시적 CASE 사용을 추가 요청하는 경우(use the CASE statement with an explicit end) 런타임 468㎳인 상위 0.04% 구문과 동일한 응답을 반환.
SELECT stock_name, SUM(Case When operation='Buy' then -price When operation='Sell' then price End) AS capital_gain_loss FROM stocks GROUP BY stock_name;
이밖에도 LeetCode에서 제공하는 초중급 Python, C++ 코드 작성 과제를 테스트한 결과, 코드에 대한 지식이 전무하더라도 ChatGPT 응답으로 대부분의 테스트를 통과. 결국 ChatGPT 특성을 이해한 프롬프트 작성이 정확한 코드 반환의 관건.
연관 아티클
- SeekWell Blog, Automating my job by using GPT-3 to generate database-ready SQL to answer business questions (2/1/2021)
- Helena Alexander, Power Up Your MySQL Queries: How ChatGPT Can Help You Retrieve MySQL Data (2/6/2023)