인공지능(AI)의 발전으로 우리 삶 전반에서 AI 기술의 활용이 점점 늘어나고 있다. 법률 분야도 예외가 아니다. 자료 조사나 문서 초안 작성과 같은 업무에 AI가 널리 사용되며 효율성을 높일 가능성을 보여주고 있다. 그러나 이러한 편리함 뒤에는 심각한 위험이 존재하는데, 바로 AI의 ‘환각(hallucination)’ 현상이다. AI 환각이란 인공지능이 그럴듯하지만 실제로는 존재하지 않거나 사실과 다른 정보를 생성하는 현상을 의미한다. 특히 AI는 진실을 판단하거나 검증하는 능력이 없으며, 단지 다음에 올 텍스트가 얼마나 자연스럽고 그럴듯한지만 예측하여 생성하기 때문에 매끄럽고 설득력 있어 보이는 정보도 사실과 다를 가능성이 있다. 흔히 AI를 '어떤 이야기든 그럴듯하게 꾸며내는 말재주 좋은 친구'에 비유하는 이유이다. 문제는 이러한 AI 환각이 정확성과 신뢰성이 생명인 법률 분야에 사용될 경우 심각한 신뢰성 위기를 초래할 수 있다는 점이다.
AI 환각 현상에서 가장 대표적으로 나타나는 문제는 ‘가짜 출처’의 생성이다. AI는 존재하지 않는 법적 사건이나 법령, 학술 논문을 만들어 내거나, 실제 존재하는 내용을 엉뚱한 출처에 귀속시키기도 한다. 더 문제가 되는 경우는 AI가 생성한 출처가 실제로 존재하지만, 유료 데이터베이스나 특정 기관의 구독 없이는 접근하기 어려운 자료로 제시될 때이다. 이러한 상황에서는 자료의 진위 여부를 즉각적인 검색으로 확인하기 어렵기 때문에, 가짜 출처가 '접근 불가'라는 명목하에 진짜인 양 신뢰를 얻는 문제가 발생할 수 있다.
이러한 위험을 보여주는 대표적 사례가 있다. 첫 번째 사례는 미국의 Mata v. Avianca 사건(2023년)이다. 원고 측 변호사가 ChatGPT를 이용하여 제출 서류의 초안을 작성했는데, AI가 인용한 판례들이 모두 존재하지 않는 가짜로 드러났다. 법원은 변호사와 법무법인이 정확성을 제대로 검증하지 않은 책임을 물어 제재를 가했다. 법원은 특히 변호사가 법정 제출 자료의 정확성을 확인할 책임이 있음을 강조했다.
두 번째 사례는 더욱 역설적인 Hancock 사건(State of Minnesota v. Kohls)이다. 지난 1월에 미네소타주에서 AI 생성 딥페이크 금지법에 대한 소송이 있었는데, 주 정부 측 전문가로 스탠퍼드 대학의 AI 커뮤니케이션 전문가인 Jeffrey T. Hancock 교수가 나섰다. Hancock 교수는 딥페이크가 민주주의에 미치는 위험성을 입증하기 위해 ChatGPT-4o의 도움을 받아 전문가 진술서를 작성했다. 그러나 상대 변호인 측은 그의 진술서에 포함된 인용 중 상당수가 완전히 허구이거나 실제 연구를 잘못된 저자와 저널에 귀속시킨 오류를 발견했다. 이에 따라 법원은 Hancock 교수의 증언 전체를 기록에서 삭제했으며, 판사는 그의 신뢰성이 "산산조각 났다"고 판단했다. AI 전문가가 AI가 생성한 잘못된 정보로 인해 신뢰를 잃었다는 사실 자체가 AI 환각 문제의 심각성을 잘 보여준다.
이 사례들은 AI의 잘못된 사용이 단순한 기술적 오류를 넘어 법적 절차의 근본을 흔들 수 있음을 보여준다. AI가 만들어낸 오류가 발견되는 순간, 해당 전문가나 변호사의 전체 진술이나 주장이 의심받게 된다. 마치 식당에서 발견된 바퀴벌레 한 마리 때문에 주방 전체의 위생이 의심받는 것과 같은 상황이다. 개별적인 오류를 넘어 신뢰성 자체에 심각한 타격을 입히는 것이다. 따라서 법률 환경에서 AI를 책임감 있게 사용하려면 다음과 같은 검증 노력이 반드시 필요하다.
첫째, AI가 생성한 모든 주장은 독립적으로 검증해야 한다. 법원에 제출되기 전에 AI가 제시한 인용 자료나 데이터는 존재 여부와 정확한 출처를 철저히 확인해야 한다.
둘째, 접근이 어려운 자료를 인용할 경우, 검증 과정을 상세히 문서화하고, 필요하다면 발췌문이나 스크린샷을 첨부하여 신뢰성을 높여야 한다.
셋째, 법률 전문가들은 AI 기술의 한계와 잠재적 오류 가능성에 대해 충분히 이해할 수 있도록 교육을 받아야 한다.
마지막으로, 법원은 법률적 주장이나 전문가 증언에 AI가 활용된 경우 이를 투명하게 공개하도록 요구해야 한다.
결론적으로, AI는 법률 업무의 효율성을 높이는 매우 강력한 도구이다. 하지만 위의 사례들은 AI의 결과물을 맹목적으로 신뢰해서는 안 된다는 중요한 교훈을 준다. 특히 높은 이해관계가 걸려 있는 법정에서는 더욱 그렇다. 사실 확인과 투명한 검증은 AI 시대에도 변함없이 법률 전문가가 지켜야 할 기본 원칙이며, 공정한 법률 절차와 신뢰할 수 있는 법적 판단의 근간이다. AI는 인간의 판단을 대체하는 존재가 아니라, 인간의 판단을 돕는 도구로서 책임 있게 사용되어야 한다. AI의 환각이라는 위험을 명확히 인지하고 이를 철저히 경계할 때만, 우리는 AI의 이점을 안전하게 활용하고 법률 시스템의 신뢰성을 지켜낼 수 있을 것이다.
참고 자료: The Irony—AI Expert’s Testimony Collapses Over Fake AI Citations,
https://www.forbes.com/sites/larsdaniel/2025/01/29/the-irony-ai-experts-testimony--collapses-over-fake-ai-citations/?utm_source=substack&utm_medium=email
 | 김진형 교수
마크애니 김진형 고문은 카이스트 명예교수로, 1세대 소프트웨어 개발자로서 1973년부터 KIST에서 개발자로 일했다.
UCLA에서 컴퓨터과학 박사학위를 받은 후 미국 휴즈연구소에서 인공지능을 연구했다. 1985년부터 KAIST 전산학과 인공지능연구실을 이끌며
약 100명의 석·박사 전문 인력을 양성했다. KAIST에서 학과장, 인공지능연구센터 소장, 소프트웨어 대학원장을 역임했다.
‘AI 최강의 수업’, ‘인공지능 메타버스 시대 미래전략(공저)’ 등의 저서를 썼다. |
AI와 정보보안을 결합한 솔루션에 관심이 있으신가요? 마크애니의 AI 기반 보안 솔루션으로 더 안전한 시스템을 구축할 수 있습니다.
아래 알아보기를 눌러 마크애니 보안 솔루션에 대해서 더 자세히 알아보세요.
인공지능(AI)의 발전으로 우리 삶 전반에서 AI 기술의 활용이 점점 늘어나고 있다. 법률 분야도 예외가 아니다. 자료 조사나 문서 초안 작성과 같은 업무에 AI가 널리 사용되며 효율성을 높일 가능성을 보여주고 있다. 그러나 이러한 편리함 뒤에는 심각한 위험이 존재하는데, 바로 AI의 ‘환각(hallucination)’ 현상이다. AI 환각이란 인공지능이 그럴듯하지만 실제로는 존재하지 않거나 사실과 다른 정보를 생성하는 현상을 의미한다. 특히 AI는 진실을 판단하거나 검증하는 능력이 없으며, 단지 다음에 올 텍스트가 얼마나 자연스럽고 그럴듯한지만 예측하여 생성하기 때문에 매끄럽고 설득력 있어 보이는 정보도 사실과 다를 가능성이 있다. 흔히 AI를 '어떤 이야기든 그럴듯하게 꾸며내는 말재주 좋은 친구'에 비유하는 이유이다. 문제는 이러한 AI 환각이 정확성과 신뢰성이 생명인 법률 분야에 사용될 경우 심각한 신뢰성 위기를 초래할 수 있다는 점이다.
AI 환각 현상에서 가장 대표적으로 나타나는 문제는 ‘가짜 출처’의 생성이다. AI는 존재하지 않는 법적 사건이나 법령, 학술 논문을 만들어 내거나, 실제 존재하는 내용을 엉뚱한 출처에 귀속시키기도 한다. 더 문제가 되는 경우는 AI가 생성한 출처가 실제로 존재하지만, 유료 데이터베이스나 특정 기관의 구독 없이는 접근하기 어려운 자료로 제시될 때이다. 이러한 상황에서는 자료의 진위 여부를 즉각적인 검색으로 확인하기 어렵기 때문에, 가짜 출처가 '접근 불가'라는 명목하에 진짜인 양 신뢰를 얻는 문제가 발생할 수 있다.
이러한 위험을 보여주는 대표적 사례가 있다. 첫 번째 사례는 미국의 Mata v. Avianca 사건(2023년)이다. 원고 측 변호사가 ChatGPT를 이용하여 제출 서류의 초안을 작성했는데, AI가 인용한 판례들이 모두 존재하지 않는 가짜로 드러났다. 법원은 변호사와 법무법인이 정확성을 제대로 검증하지 않은 책임을 물어 제재를 가했다. 법원은 특히 변호사가 법정 제출 자료의 정확성을 확인할 책임이 있음을 강조했다.
두 번째 사례는 더욱 역설적인 Hancock 사건(State of Minnesota v. Kohls)이다. 지난 1월에 미네소타주에서 AI 생성 딥페이크 금지법에 대한 소송이 있었는데, 주 정부 측 전문가로 스탠퍼드 대학의 AI 커뮤니케이션 전문가인 Jeffrey T. Hancock 교수가 나섰다. Hancock 교수는 딥페이크가 민주주의에 미치는 위험성을 입증하기 위해 ChatGPT-4o의 도움을 받아 전문가 진술서를 작성했다. 그러나 상대 변호인 측은 그의 진술서에 포함된 인용 중 상당수가 완전히 허구이거나 실제 연구를 잘못된 저자와 저널에 귀속시킨 오류를 발견했다. 이에 따라 법원은 Hancock 교수의 증언 전체를 기록에서 삭제했으며, 판사는 그의 신뢰성이 "산산조각 났다"고 판단했다. AI 전문가가 AI가 생성한 잘못된 정보로 인해 신뢰를 잃었다는 사실 자체가 AI 환각 문제의 심각성을 잘 보여준다.
이 사례들은 AI의 잘못된 사용이 단순한 기술적 오류를 넘어 법적 절차의 근본을 흔들 수 있음을 보여준다. AI가 만들어낸 오류가 발견되는 순간, 해당 전문가나 변호사의 전체 진술이나 주장이 의심받게 된다. 마치 식당에서 발견된 바퀴벌레 한 마리 때문에 주방 전체의 위생이 의심받는 것과 같은 상황이다. 개별적인 오류를 넘어 신뢰성 자체에 심각한 타격을 입히는 것이다. 따라서 법률 환경에서 AI를 책임감 있게 사용하려면 다음과 같은 검증 노력이 반드시 필요하다.
첫째, AI가 생성한 모든 주장은 독립적으로 검증해야 한다. 법원에 제출되기 전에 AI가 제시한 인용 자료나 데이터는 존재 여부와 정확한 출처를 철저히 확인해야 한다.
둘째, 접근이 어려운 자료를 인용할 경우, 검증 과정을 상세히 문서화하고, 필요하다면 발췌문이나 스크린샷을 첨부하여 신뢰성을 높여야 한다.
셋째, 법률 전문가들은 AI 기술의 한계와 잠재적 오류 가능성에 대해 충분히 이해할 수 있도록 교육을 받아야 한다.
마지막으로, 법원은 법률적 주장이나 전문가 증언에 AI가 활용된 경우 이를 투명하게 공개하도록 요구해야 한다.
결론적으로, AI는 법률 업무의 효율성을 높이는 매우 강력한 도구이다. 하지만 위의 사례들은 AI의 결과물을 맹목적으로 신뢰해서는 안 된다는 중요한 교훈을 준다. 특히 높은 이해관계가 걸려 있는 법정에서는 더욱 그렇다. 사실 확인과 투명한 검증은 AI 시대에도 변함없이 법률 전문가가 지켜야 할 기본 원칙이며, 공정한 법률 절차와 신뢰할 수 있는 법적 판단의 근간이다. AI는 인간의 판단을 대체하는 존재가 아니라, 인간의 판단을 돕는 도구로서 책임 있게 사용되어야 한다. AI의 환각이라는 위험을 명확히 인지하고 이를 철저히 경계할 때만, 우리는 AI의 이점을 안전하게 활용하고 법률 시스템의 신뢰성을 지켜낼 수 있을 것이다.
참고 자료: The Irony—AI Expert’s Testimony Collapses Over Fake AI Citations,
https://www.forbes.com/sites/larsdaniel/2025/01/29/the-irony-ai-experts-testimony--collapses-over-fake-ai-citations/?utm_source=substack&utm_medium=email
김진형 교수
마크애니 김진형 고문은 카이스트 명예교수로, 1세대 소프트웨어 개발자로서 1973년부터 KIST에서 개발자로 일했다.
UCLA에서 컴퓨터과학 박사학위를 받은 후 미국 휴즈연구소에서 인공지능을 연구했다. 1985년부터 KAIST 전산학과 인공지능연구실을 이끌며
약 100명의 석·박사 전문 인력을 양성했다. KAIST에서 학과장, 인공지능연구센터 소장, 소프트웨어 대학원장을 역임했다.
‘AI 최강의 수업’, ‘인공지능 메타버스 시대 미래전략(공저)’ 등의 저서를 썼다.
AI와 정보보안을 결합한 솔루션에 관심이 있으신가요? 마크애니의 AI 기반 보안 솔루션으로 더 안전한 시스템을 구축할 수 있습니다.
아래 알아보기를 눌러 마크애니 보안 솔루션에 대해서 더 자세히 알아보세요.