ChatGPT를 사용할 때 영어로 쓰는 것이 훨씬 유리합니다.
- 입력해서 맥락을 기억하는 길이, 혹은 한번에 입력할 수 있는 길이가 영어가 2-5배 깁니다
- 대답을 해 주는 속도가 2배 정도 빠릅니다
- 한글의 경우는 대답을 하다가 중간에 끊기는 경우가 많습니다.
그래서 한글로 물어보고 한글로 대답을 받지만 내부적으로는 영어로 처리하는 프롬프트 지니와 같은 크롬 확장앱을 쓰는 것을 추천드립니다. 이 앱은 내부적으로 구글 번역을 사용합니다.
하지만, 이렇게 쓰는 경우 번역 엔진의 성능에 따라서 영향을 받습니다. 특히, ChatGPT가 만들어 낸 영어 글을 한글로 바꿔서 다른 곳에 공유하신다면 그 성능이 매우 중요해집니다.
그래서 ChatGPT와 3가지 번역 엔진 (구글, 파파고, DeepL)의 성능을 비교해 봤습니다.
과학 글 쓰기 분야 비교
먼저 아래 게시물에서 출력으로 나온 것을 원문으로 삼았습니다.
Emergence, in the scientific context, refers to a qualitative change that arises from quantitative changes. In the context of language models, an ability is considered emergent if it is not present in smaller models but is present in larger models. The size of a model can be measured by training FLOPs, the number of model parameters, or the training dataset size.
이 글을 번역하는데 핵심은 Emergence - 라고 하는 개념을 정의하고 어떤 것이 Emergence 한 것인지 설명하는 것입니다.
구글로 번역하기
출현은 과학적 맥락에서 양적 변화에서 발생하는 질적 변화를 의미합니다. 언어 모델의 맥락에서 능력이 더 작은 모델에는 없지만 더 큰 모델에는 있는 경우 능력이 창발적인 것으로 간주됩니다. 모델의 크기는 훈련 FLOP, 모델 매개변수의 수 또는 훈련 데이터 세트 크기로 측정할 수 있습니다.
파파고 번역하기
과학적 맥락에서 출현은 양적 변화에서 발생하는 질적 변화를 의미한다. 언어 모델의 맥락에서 능력은 작은 모델에 존재하지 않고 큰 모델에 존재하는 경우에 중요한 것으로 간주된다. 모델의 크기는 훈련 FLOP, 모델 매개 변수의 수 또는 훈련 데이터 세트 크기로 측정할 수 있다.
DeepL 번역 하기
과학적 맥락에서 출현은 양적 변화에서 발생하는 질적 변화를 의미합니다. 언어 모델에서는 작은 모델에는 존재하지 않지만 큰 모델에 존재하는 능력을 새로운 능력으로 간주합니다. 모델의 크기는 훈련 FLOP, 모델 매개변수의 수 또는 훈련 데이터 세트 크기로 측정할 수 있습니다.
ChatGPT 번역하기
사이언티픽 컨텍스트에서의 발생은 양적 변화에서 나오는 품질적 변화를 의미합니다. 언어 모델의 컨텍스트에서는, 더 작은 모델에서는 존재하지 않지만, 더 큰 모델에서는 존재하는 능력이 발생적으로 간주됩니다. 모델의 크기는 훈련 FLOPs, 모델 매개변수의 수, 또는 훈련 데이터셋 크기로 측정할 수 있습니다.
4가지 번역 엔진 모두, Emergence라는 것을 제대로 정의하고, 두 번째 문장에서 이 정의를 설명하는데 어색함이 있습니다. 첫 번째와 두 번째 문장 모두가 동일한 용어를 써야 하는데 이걸 파악하지는 못하는 것 같네요. 과학적인 글에서는 이러한 용어 정의, 일관된 용어 사용이 필요합니다. 그래서 어떤 번역 엔진을 쓰더라도 이 부분은 수동으로 사람이 해 줘야 할 것 같습니다.
ChatGPT에게 과학적인 내용의 지문이라 알려주고 다시 번역을 시켜 보았습니다.
Prompt: The following is a passage from a scientific paper. Translate the following text into Korean as a scientific article.
Text: Emergence, in the scientific context, refers to a qualitative change that arises from quantitative changes. In the context of language models, an ability is considered emergent if it is not present in smaller models but is present in larger models. The size of a model can be measured by training FLOPs, the number of model parameters, or the training dataset size.
과학적 측면에서, 진화(Emergence)는 양적 변화에서 발생하는 품질적 변화를 의미합니다. 언어 모델의 컨텍스트에서, 능력은 작은 모델에 없지만 큰 모델에 있다면 나타나는 것으로 간주됩니다. 모델의 크기는 훈련 FLOPs, 모델 매개변수 수 또는 훈련 데이터셋 크기로 측정할 수 있습니다.
이렇게 다시 물어보았지만 Emergence와 Emergent 두 단어를 사용해서 용어를 설명하는 것이 제대로 번역되진 않네요. 이걸 명시해서 번역하면 제대로 번역 할까요?
Prompt: The following is a passage from a scientific paper about emergence in the context of language models. Translate the following text into Korean as a scientific article.
...
과학적 맥락에서, 진화는 양적 변화에서 나타나는 품질적 변화를 의미합니다. 언어 모델의 맥락에서, 능력은 작은 모델에 존재하지 않지만 큰 모델에서는 존재할 경우, 진화적으로 간주됩니다. 모델의 크기는 훈련 FLOPs, 모델 매개변수 수, 또는 훈련 데이터셋 크기를 기준으로 측정할 수 있습니다.
드디어 ChatGPT가 용어 Emergence/Emergent를 같은 단어로 번역하기 시작했습니다!
물론 다른 번역 엔진에도 이러한 전문 용어를 사전에 주의시키는 기능이 존재합니다. 하지만, 그렇게 쓰기 위해서는 각 엔진의 사용 방법을 따로 학습해야 합니다. ChatGPT는 비록 아직 한글을 뽑아내어 주는 속도는 느리지만, 자연어로 그런 명령을 내릴 수 있어, 인터페이스를 따로 배우지 않아도 되는 장점이 있습니다.
물론 다른 번역 엔진에도 이러한 전문 용어를 사전에 주의시키는 기능이 존재합니다. 하지만, 그렇게 쓰기 위해서는 각 엔진의 사용 방법을 따로 학습해야 합니다. ChatGPT는 비록 아직 한글을 뽑아내어 주는 속도는 느리지만, 자연어로 그런 명령을 내릴 수 있어, 인터페이스를 따로 배우지 않아도 되는 장점이 있습니다.
문학 분야 비교
번역할 원문은 Jack Kerouac, On The Road 에서 유명한 구절을 가져왔습니
The only people for me are the mad ones, the ones who are mad to live, mad to talk, mad to be saved, desirous of everything at the same time, the ones who never yawn or say a commonplace thing, but burn, burn, burn like fabulous yellow roman candles exploding like spiders across the stars.
구글 번역
나에게 유일한 사람들은 미친 사람들, 살기에 미친 사람들, 말하는 데 미친 사람들, 구원받는 데 미친 사람들, 동시에 모든 것을 갈망하는 사람들, 결코 하품하거나 평범한 말을 하지 않고 불타고 타는 사람들입니다. , 별을 가로 질러 거미처럼 폭발하는 멋진 노란색 로마 양초처럼 타십시오.
구글은 burn, burn, burn, 과 같은 문학적 표현을 제대로 이해하지 못한 것 같아 번역이 어색합니다.
DeepL 번역
저에게는 미친 사람들, 살기 위해 미치고, 말하기 위해 미치고, 구원받기 위해 미치고, 동시에 모든 것을 갈망하는 사람들, 하품도 하지 않고 평범한 말도 하지 않지만 별을 가로질러 거미처럼 폭발하는 멋진 노란 로마 양초처럼 불타고, 불타고, 불타고 있는 사람들만이 제게 있습니다.
DeepL의 경우는 이걸 하나의 문장으로 주어, 동사 배치를 다시 하다보니, 원문에서 첫 몇 단어만 읽고 -- 나에게 남은 사람들은 이런 사람들이다. 이러한 사람, 이러 이러한 사람 ... -- 이렇게 알 수 있는 것을 3줄짜리 문장을 다 읽어야 비로소 이해할 수 있습니다.
파파고 번역
파파고 번역
내게 유일한 사람들은 미친 사람들이다. 살기 위해 미친 사람들, 이야기하기 위해 미친 사람들, 구원받기 위해 미친 사람들, 모든 것을 동시에 갈망하는 사람들, 하품을 하거나 평범한 말을 하지 않고 별들을 가로질러 거미처럼 폭발하는 멋진 노란 로마 촛불처럼 타고, 타고, 타는 사람들이다.
파파고는 이러한 긴 문장을 한글로 바꿀 때 문장을 나누어 먼저 전달할 내용을 전달하고, 뒤이은 부분을 다음 문장으로 연결해서 적절한 번역 결과를 보였습니다.
ChatGPT 번역
나에게만 있는 사람들은 미친 사람들뿐입니다, 살아가려고 미친 사람들, 말하기를 원하는 사람들, 구원을 원하는 사람들, 모든 것을 동시에 원하는 사람들, 절대 졸거나 일상적인 말을 하지 않는 사람들입니다. 그들은 황금색 로마의 저주의 촛불처럼 타오르고, 별 사이로 거미처럼 폭발합니다.
저의 문학 상식으로는 (거의 없습니다..) ChatGPT는 꽤나 잘 번역을 한 것 같습니다. 하나의 거대한 문장으로 번역하지도 않았고, Only도 함께 번역을 해 줘서 더 느낌이 살아 있습니다. 하나의 샘플로 모든 것을 얘기할 수 없겠지만, 문학적인 글의 번역은 꽤 성능이 괜찮아 보입니다.
그럼 이 글이 문학의 일부라는 것을 알려주고 번역하면 더 잘 번역해 줄 수 있을까요?
Prompt: The following is a famous passage from English literature. Translate the following text into Korean. Make it sound like literature.
그럼 이 글이 문학의 일부라는 것을 알려주고 번역하면 더 잘 번역해 줄 수 있을까요?
Prompt: The following is a famous passage from English literature. Translate the following text into Korean. Make it sound like literature.
나에게 유일한 이들은, 살아가려는 광기에 미친 이들, 말하기를 원하는 이들, 구원을 원하는 이들, 모든 것을 동시에 원하는 이들, 절대 졸음이나 평범한 말을 하지 않는 이들입니다. 그들은 황금색 로마의 저주처럼 불타, 별 사이로 거미처럼 폭발하며 빛납니다.
크게 차이가 없어 보입니다. 하지만 ~~이들, 폭발합니다 -- 가 아닌 폭발하며 빛납니다 - 와 같은 표현으로 좀 더 문학적으로 들리는게 아닐까 싶어요.
결론은, 문학적인 글을 번역하는데 있어서 ChatGPT는 상당히 잘 해내는 것 같습니다.
결론은, 문학적인 글을 번역하는데 있어서 ChatGPT는 상당히 잘 해내는 것 같습니다.
일상의 블로그 글 번역
우리가 보통 많이 보게 되는 블로그 글들은 어떨까요? 과학적인 글처럼 엄격하게 논리와 용어를 쓰지 않고, 문학글처럼 감성을 불러 일으키기 위한 세세한 언어, 단어의 사용은 없을 것입니다. 이런 글은 누가 번역을 제일 잘 할까요?
원문은 제가 받아 보는 뉴스레터에서 가져 왔습니다.
(PKM Diaries from Joseph)
원문은 제가 받아 보는 뉴스레터에서 가져 왔습니다.
(PKM Diaries from Joseph)
I have a huge tendency to forget about things if I don't see them. So if I store some notes away in Logseq or Roam and it's just gone, well, if I didn't create a proper way of rediscovering that note then I'm going to forget about it. But with my folders, once I make a note I can throw it in the appropriate folder and it has a much higher chance of being seen again because it's always on the left sidebar within my sight. I see the different folders all right there.
구글 번역 하기
나는 물건을 보지 않으면 잊어버리는 경향이 크다. 따라서 Logseq 또는 Roam에 일부 메모를 저장하고 그냥 사라진 경우 해당 메모를 재발견하는 적절한 방법을 만들지 않으면 잊어버릴 것입니다. 하지만 내 폴더를 사용하면 일단 메모를 작성하면 적절한 폴더에 넣을 수 있고 내 시야의 왼쪽 사이드바에 항상 있기 때문에 다시 볼 가능성이 훨씬 더 높습니다. 다른 폴더가 모두 보입니다.
내용을 이해하는데 어려움이 없습니다. 마지막 문장은 처음 읽을 때 좀 어색합니다. 볼 수 있다 - 라고 표현하는게 더 맞는 것 같습니다.
파파고 번역 하기
파파고 번역 하기
나는 눈에 보이지 않으면 잊어버리는 경향이 크다. 그래서 만약 내가 로그섹이나 로밍에 노트를 저장했는데 노트가 없어지면, 음, 만약 내가 그 노트를 다시 찾는 적절한 방법을 만들지 않았다면, 나는 그것을 잊어버릴 것이다. 그러나 내 폴더를 사용하면 메모를 작성한 후 해당 폴더에 넣을 수 있으며 메모가 항상 내 시야의 왼쪽 사이드바에 있기 때문에 다시 표시될 가능성이 훨씬 높습니다. 다른 폴더들이 잘 보이네요.
쉼표를 사용해서 두 번째 문장을 좀 더 이해하기 쉽게 구조화하였습니다. 하지만 두 번째 문단에서 "다시 표시될 가능성" 이라고 번역한 것은 오역입니다. 다시 볼 - 이라는 표현이 맞습니다.
그리고 Roam, LogSeq와 같이 영어 고유 단어를 잘 모르는 것 같습니다. 구글은 검색 엔진이 있어서 그런지 그 키워드를 따로 잘 빼내는 것 같고요. 아마 파파고는 한글의 고유 단어, 최근의 신조어 등에 더 강하지 않을까 싶기도 합니다.
DeepL 번역
그리고 Roam, LogSeq와 같이 영어 고유 단어를 잘 모르는 것 같습니다. 구글은 검색 엔진이 있어서 그런지 그 키워드를 따로 잘 빼내는 것 같고요. 아마 파파고는 한글의 고유 단어, 최근의 신조어 등에 더 강하지 않을까 싶기도 합니다.
DeepL 번역
저는 눈에 보이지 않으면 잊어버리는 경향이 강합니다. 그래서 Logseq이나 Roam에 노트를 저장해 두었다가 사라져 버리면, 그 노트를 다시 찾을 수 있는 적절한 방법을 만들지 않으면 잊어버리게 되죠. 하지만 폴더를 사용하면 일단 노트를 만들고 나면 적절한 폴더에 넣을 수 있고, 왼쪽 사이드바에서 항상 볼 수 있기 때문에 다시 찾을 확률이 훨씬 높아집니다. 여러 폴더가 한 눈에 보이니까요.
가장 번역을 잘 해낸 것 같습니다. Logseq, Roam과 같은 최근의 고유 명사들도 구분해 내었고, 첫 번째 문장 자체도 이전의 검색 엔진들보다 자연스럽습니다. 마지막 문장의 번역도 훌륭합니다. 전체 맥락을 마치 아는 것 같아요. 이건 저만 느낀게 아닌 듯 합니다. DeepL이 언어 번역에 있어서는 구글보다 낫다고 많이들 얘기 하시네요.
ChatGPT 번역하기
ChatGPT 번역하기
나는 것을 보지 않으면 잊기 쉬운 경향이 있습니다. 그래서 Logseq 또는 Roam에 노트를 저장하고 그것이 사라지면, 아주 제대로 다시 찾을 수 있는 방법을 만들지 않았다면 그것을 잊게 될 것입니다. 그러나 나의 폴더에서는, 노트를 만들면 적절한 폴더에 넣을 수 있어서 다시 볼 기회가 높아집니다. 왼쪽 사이드바에 계속 있기 때문입니다. 나는 다른 폴더를 모두 왼쪽 사이드바에서 볼 수 있습니다.
기계 번역을 한 느낌이 물씬 납니다. "나의 폴더" 라고 표현하는 것이 많이 어색하게 들리네요. 그리고 "나는" 이라는 주어를 너무 많이 사용하는 것 같습니다.
그럼 맥락을 좀 더 설명하고, 자연스럽게 만들어 보라고 프롬프트를 바꿔 볼까요?
Prompt: The following is from a blog post. Translate the following text into Korean. Make it sound natural.
그럼 맥락을 좀 더 설명하고, 자연스럽게 만들어 보라고 프롬프트를 바꿔 볼까요?
Prompt: The following is from a blog post. Translate the following text into Korean. Make it sound natural.
나는 것을 보지 않으면 까먹는 경향이 매우 큽니다. 그래서 Logseq 또는 Roam에서 적은 노트를 저장하고 사라지면, 아주 좋지 않습니다. 그 노트를 재발견할 수 있는 적절한 방법을 만들지 않았다면, 그것을 까먹을 것입니다. 그러나 나의 폴더와 함께하면, 한 번 노트를 만들면 적절한 폴더에 넣을 수 있어서, 다시 볼 가능성이 높아집니다. 왼쪽 사이드바에 항상 있기 때문에, 다른 폴더를 쉽게 볼 수 있습니다.
말을 만들어 내는 것이 아니라, 번역을 하는 것은 ChatGPT가 잘 하는 영역은 아닌 듯합니다. 아마도 만족스러운 결과를 얻기 위해서는 더 많이 설명을 해야 할 것 같습니다.
결론
ChatGPT는 번역 자체는 뛰어나지 않은 것 같습니다. 제가 프롬프트를 잘 쓰지 못해서 그런 것 같기는 합니다.
이번 실험의 한계는 ... ChatGPT가 영어로 답한 것을 한글로 다시 말해 달라고 한 것은 아니라는 겁니다. ChatGPT가 맥락을 아는 것이 정말 큰 능력인데요, 맥락을 이어가다가 결과를 한글로 바꿔달라고 하면, 그냥 텍스트만 구글/파파고/DeepL에 주면서 번역을 하라고 시키는 것 대비 뛰어날 수도 있겠다는 생각은 드네요.
이번 실험의 한계는 ... ChatGPT가 영어로 답한 것을 한글로 다시 말해 달라고 한 것은 아니라는 겁니다. ChatGPT가 맥락을 아는 것이 정말 큰 능력인데요, 맥락을 이어가다가 결과를 한글로 바꿔달라고 하면, 그냥 텍스트만 구글/파파고/DeepL에 주면서 번역을 하라고 시키는 것 대비 뛰어날 수도 있겠다는 생각은 드네요.
