AI 챗봇의 놀라운 발전: 검색 기반 AI 챗봇의 등장과 더욱 깊어진 추론 능력
최근 생성형 인공지능의 진보는 ChatGPT, Google Bard와 같은 대화형 AI의 출현으로 인해 그야말로 혁명적이라 할 수 있다. 경쟁하듯이 AI 기업들이 새로운 서비스를 출시하고 있다.
검색 기반 AI 챗봇의 등장
그중에서도 검색 기반 생성을 도입하여 사용자에게 더 정확한 최신 정보를 제공하려는 시도들이 돋보인다. 대형 언어모델(LLM) 기반으로 한 확률적 대화 생성의 치명적인 약점인 환각 현상, 즉 근거 없는 거짓 정보를 제공하는 현상이다. 검색 기반 AI 챗봇은 검색으로 얻어진 정보를 근거로 제시함으로써 환각 현상을 상당 부분 극복할 수 있다. 검색 기반 AI 챗봇은 출처 표시 시스템을 통해서 원문을 직접 확인할 수 있다. 이를 통해 정보의 신뢰성을 보장하며, 사용자는 보다 안심하고 AI의 답변을 활용할 수 있게 되었다.
또한 학습된 데이터에만 의존하는 AI 챗봇은 시사성 있는 정보나 최신 데이터를 제공할 수 없는 것이 큰 약점이었다. 학습에는 많은 컴퓨팅과 시간이 소요되기 때문에 추가로 데이터를 수집하였다 하더라도 자주 업데이트할 수가 없다. 그런데 검색 기반 AI 챗봇은 실시간으로 업데이트되는 인터넷의 정보를 활용함으로써, 최신의 정보를 제공할 수 있게 되었다.
검색 기반 AI 챗봇은 관련된 정보를 통합하여 종합적인 답변을 제공한다. 관계있는 여러 가지를 알고 싶을 때 그 요소들을 각각 질문할 필요가 없다. 필자도 이런 경험을 했다. 야구 중계를 시청하는데 "슬라이더", "포크볼" 등의 전문 용어가 많이 나온다. 기존의 방식으로 검색하려면 "슬라이더"를 검색하고 또 "포크볼"을 검색해야 했을 텐데 "투수가 던지는 커브 볼의 종류를 설명해 줘"라는 한번 질문으로 해결했다. 커브 볼의 종류가 10개가 넘는다는 것을 비로소 알게 되었다.
이러한 장점들로 인해 검색 기반 증강은 AI 챗봇의 신뢰성과 실용성을 높이는 데 크게 기여하고 있다. 퍼플렉시티가 시도하여 좋은 호응을 받으니 곧 OpenAI도 따라 했다. OpenAI에서는 검색 기반의 ChatGPT 서비스를 SearchGPT라고 한다. 이제 AI 챗봇이 오랫동안 인터넷 사용의 핵심이었던 검색의 가운데 자리를 차지하고 있다. AI 챗봇 서비스도 대화보다 검색이 필수 기능이 되었다. 전통적인 검색 기업인 구글과 네이버 등이 위협을 받을 수 있을 것 같다.
생각의 사슬을 생성하는 인공지능
2024년 9월 발표된 OpenAI의 o1 모델도 놀랍다. 단순히 대화의 자연스러움을 넘어서 높은 문제 해결 능력과 깊이 있는 추론 능력을 보여준다. o1 모델은 과학, 수학, 프로그래밍 등 다양한 분야에서 전문가 수준의 성과를 보이고 있다.
o1의 핵심 특징은 대답하기 전에 추가적인 생각을 한다는 것이다. 기존의 GPT-4 모델도 이미 언어 처리와 추론 능력을 자랑했지만, 그 대답은 주로 훈련된 데이터를 바탕으로 단순하고 빠르게 추론한 결과였다. 반면, o1은 생각의 사슬을 생성하여 추가적인 추론 과정을 거쳐 최종 결론을 도출한다. 이는 마치 우리가 문제를 푸는 동안 여러 가능성을 고려하고, 추가적인 질문을 통해 정보를 정리하는 과정과 유사하다. 더욱 정교한 문제 해결 능력을 보이기 때문에 당연히 대답에 시간이 좀 더 걸린다.
이번 발표에서 가장 인상 깊었던 점은 전문가 수준의 성과이다. o1 모델은 물리, 화학, 생물학 분야의 박사급 문제를 푸는 데 있어서 전문가 인간의 수준을 능가했다. 특히 물리 문제에서는 전문가가 59.5%의 정확도인데 o1 모델은 92.8%의 정확도를 보였다. 수학 경시대회인 AIME에서, 코딩 대회인 Code forces에서도 전문가에 버금가는 높은 성과를 보였다. 이는 고난도의 문제 해결과 논리적 사고력이 요구되는 분야에서 인간에 버금가는 역량을 갖추었음을 시사한다.
'한끌의 암혼화 방펍잇 잊댜'
이번 발표에서 눈에 띄는 점은 직관적으로 이해하기 어려운 한글 문장을 다루는 부분이다. 예를 들어, '직우상 업턴 번역깃든 일끌 수 없쥐많 한국인듦은 쉽게 앗랍볼 숫 있는 한끌의 암혼화 방펍잇 잊댜'과 같은 문장은 한국인에게도 직관적으로 이해하기 어렵다. 그러나 소리를 바탕으로 조금 깊이 생각하면 "지구상 어떤 번역기든 읽을 수 없지만 한국인들은 쉽게 알아볼 수 있는 한글의 암호화 방법이 있다"로 이해된다. 이 문장은 한국인의 감각에만 자연스럽게 받아들여질 수 있는 미묘한 표현이다. o1은 이를 정확히 분석하고 해석하는 능력을 보여주었다. 단순히 텍스트를 번역하거나 분석하는 수준을 넘어서, 문화적 맥락과 언어적 뉘앙스까지 고려하여 이해하는 능력을 갖추었음을 의미하는 것이 아닐까?
OpenAI의 o1은 단순한 기술적 진보를 넘어, 인공지능이 인간의 사고를 모방하고 확장하는 데 있어 새로운 가능성을 제시한다. 생각의 사슬을 형성하고, 전문가와 같은 수준에서 문제를 해결하며, 문화적 뉘앙스까지 이해할 수 있다. 이는 인공지능이 점점 더 인간적인 사고 과정을 모방하고 있음을 보여준다. 앞으로 o1과 같은 인공지능 모델이 우리의 삶을 어떻게 변화시킬지, 그리고 그와 함께 우리가 만들어갈 미래는 어떤 모습일지 기대와 함께 우려도 크다.
 | 김진형 교수
마크애니 김진형 고문은 카이스트 명예교수로, 1세대 소프트웨어 개발자로서 1973년부터 KIST에서 개발자로 일했다.
UCLA에서 컴퓨터과학 박사학위를 받은 후 미국 휴즈연구소에서 인공지능을 연구했다. 1985년부터 KAIST 전산학과 인공지능연구실을 이끌며
약 100명의 석·박사 전문 인력을 양성했다. KAIST에서 학과장, 인공지능연구센터 소장, 소프트웨어 대학원장을 역임했다.
‘AI 최강의 수업’, ‘인공지능 메타버스 시대 미래전략(공저)’ 등의 저서를 썼다. |
AI와 정보보안을 결합한 솔루션에 관심이 있으신가요? 마크애니의 AI 기반 보안 솔루션으로 더 안전한 시스템을 구축할 수 있습니다.
아래 알아보기를 눌러 마크애니 보안 솔루션에 대해서 더 자세히 알아보세요.
AI 챗봇의 놀라운 발전: 검색 기반 AI 챗봇의 등장과 더욱 깊어진 추론 능력
최근 생성형 인공지능의 진보는 ChatGPT, Google Bard와 같은 대화형 AI의 출현으로 인해 그야말로 혁명적이라 할 수 있다. 경쟁하듯이 AI 기업들이 새로운 서비스를 출시하고 있다.
그중에서도 검색 기반 생성을 도입하여 사용자에게 더 정확한 최신 정보를 제공하려는 시도들이 돋보인다. 대형 언어모델(LLM) 기반으로 한 확률적 대화 생성의 치명적인 약점인 환각 현상, 즉 근거 없는 거짓 정보를 제공하는 현상이다. 검색 기반 AI 챗봇은 검색으로 얻어진 정보를 근거로 제시함으로써 환각 현상을 상당 부분 극복할 수 있다. 검색 기반 AI 챗봇은 출처 표시 시스템을 통해서 원문을 직접 확인할 수 있다. 이를 통해 정보의 신뢰성을 보장하며, 사용자는 보다 안심하고 AI의 답변을 활용할 수 있게 되었다.
또한 학습된 데이터에만 의존하는 AI 챗봇은 시사성 있는 정보나 최신 데이터를 제공할 수 없는 것이 큰 약점이었다. 학습에는 많은 컴퓨팅과 시간이 소요되기 때문에 추가로 데이터를 수집하였다 하더라도 자주 업데이트할 수가 없다. 그런데 검색 기반 AI 챗봇은 실시간으로 업데이트되는 인터넷의 정보를 활용함으로써, 최신의 정보를 제공할 수 있게 되었다.
검색 기반 AI 챗봇은 관련된 정보를 통합하여 종합적인 답변을 제공한다. 관계있는 여러 가지를 알고 싶을 때 그 요소들을 각각 질문할 필요가 없다. 필자도 이런 경험을 했다. 야구 중계를 시청하는데 "슬라이더", "포크볼" 등의 전문 용어가 많이 나온다. 기존의 방식으로 검색하려면 "슬라이더"를 검색하고 또 "포크볼"을 검색해야 했을 텐데 "투수가 던지는 커브 볼의 종류를 설명해 줘"라는 한번 질문으로 해결했다. 커브 볼의 종류가 10개가 넘는다는 것을 비로소 알게 되었다.
이러한 장점들로 인해 검색 기반 증강은 AI 챗봇의 신뢰성과 실용성을 높이는 데 크게 기여하고 있다. 퍼플렉시티가 시도하여 좋은 호응을 받으니 곧 OpenAI도 따라 했다. OpenAI에서는 검색 기반의 ChatGPT 서비스를 SearchGPT라고 한다. 이제 AI 챗봇이 오랫동안 인터넷 사용의 핵심이었던 검색의 가운데 자리를 차지하고 있다. AI 챗봇 서비스도 대화보다 검색이 필수 기능이 되었다. 전통적인 검색 기업인 구글과 네이버 등이 위협을 받을 수 있을 것 같다.
2024년 9월 발표된 OpenAI의 o1 모델도 놀랍다. 단순히 대화의 자연스러움을 넘어서 높은 문제 해결 능력과 깊이 있는 추론 능력을 보여준다. o1 모델은 과학, 수학, 프로그래밍 등 다양한 분야에서 전문가 수준의 성과를 보이고 있다.
o1의 핵심 특징은 대답하기 전에 추가적인 생각을 한다는 것이다. 기존의 GPT-4 모델도 이미 언어 처리와 추론 능력을 자랑했지만, 그 대답은 주로 훈련된 데이터를 바탕으로 단순하고 빠르게 추론한 결과였다. 반면, o1은 생각의 사슬을 생성하여 추가적인 추론 과정을 거쳐 최종 결론을 도출한다. 이는 마치 우리가 문제를 푸는 동안 여러 가능성을 고려하고, 추가적인 질문을 통해 정보를 정리하는 과정과 유사하다. 더욱 정교한 문제 해결 능력을 보이기 때문에 당연히 대답에 시간이 좀 더 걸린다.
이번 발표에서 가장 인상 깊었던 점은 전문가 수준의 성과이다. o1 모델은 물리, 화학, 생물학 분야의 박사급 문제를 푸는 데 있어서 전문가 인간의 수준을 능가했다. 특히 물리 문제에서는 전문가가 59.5%의 정확도인데 o1 모델은 92.8%의 정확도를 보였다. 수학 경시대회인 AIME에서, 코딩 대회인 Code forces에서도 전문가에 버금가는 높은 성과를 보였다. 이는 고난도의 문제 해결과 논리적 사고력이 요구되는 분야에서 인간에 버금가는 역량을 갖추었음을 시사한다.
이번 발표에서 눈에 띄는 점은 직관적으로 이해하기 어려운 한글 문장을 다루는 부분이다. 예를 들어, '직우상 업턴 번역깃든 일끌 수 없쥐많 한국인듦은 쉽게 앗랍볼 숫 있는 한끌의 암혼화 방펍잇 잊댜'과 같은 문장은 한국인에게도 직관적으로 이해하기 어렵다. 그러나 소리를 바탕으로 조금 깊이 생각하면 "지구상 어떤 번역기든 읽을 수 없지만 한국인들은 쉽게 알아볼 수 있는 한글의 암호화 방법이 있다"로 이해된다. 이 문장은 한국인의 감각에만 자연스럽게 받아들여질 수 있는 미묘한 표현이다. o1은 이를 정확히 분석하고 해석하는 능력을 보여주었다. 단순히 텍스트를 번역하거나 분석하는 수준을 넘어서, 문화적 맥락과 언어적 뉘앙스까지 고려하여 이해하는 능력을 갖추었음을 의미하는 것이 아닐까?
OpenAI의 o1은 단순한 기술적 진보를 넘어, 인공지능이 인간의 사고를 모방하고 확장하는 데 있어 새로운 가능성을 제시한다. 생각의 사슬을 형성하고, 전문가와 같은 수준에서 문제를 해결하며, 문화적 뉘앙스까지 이해할 수 있다. 이는 인공지능이 점점 더 인간적인 사고 과정을 모방하고 있음을 보여준다. 앞으로 o1과 같은 인공지능 모델이 우리의 삶을 어떻게 변화시킬지, 그리고 그와 함께 우리가 만들어갈 미래는 어떤 모습일지 기대와 함께 우려도 크다.
김진형 교수
마크애니 김진형 고문은 카이스트 명예교수로, 1세대 소프트웨어 개발자로서 1973년부터 KIST에서 개발자로 일했다.
UCLA에서 컴퓨터과학 박사학위를 받은 후 미국 휴즈연구소에서 인공지능을 연구했다. 1985년부터 KAIST 전산학과 인공지능연구실을 이끌며
약 100명의 석·박사 전문 인력을 양성했다. KAIST에서 학과장, 인공지능연구센터 소장, 소프트웨어 대학원장을 역임했다.
‘AI 최강의 수업’, ‘인공지능 메타버스 시대 미래전략(공저)’ 등의 저서를 썼다.
AI와 정보보안을 결합한 솔루션에 관심이 있으신가요? 마크애니의 AI 기반 보안 솔루션으로 더 안전한 시스템을 구축할 수 있습니다.
아래 알아보기를 눌러 마크애니 보안 솔루션에 대해서 더 자세히 알아보세요.