📢 생성형 AI의 취약점 발견 시 보상 제도 운영
Google은 2011년부터 프로그램이나 웹 서비스 등에 존재하는 취약성을 발견한 사용자에게 사례금을 지불하는 「Vulnerability Reward Program(VRP)」를 운영하고 있었습니다. 최근은 ChatGPT 등 생성형 AI가 흥행하고 있기에 Google은 2023년 10월26일 새롭게 생성AI의 취약성을 발견하고 보고한 시큐리티 연구자에 대해서 보상금을 지불하는 제도를 통과시켰습니다.
💡생성형 AI란?
생성형 인공 지능(생성형 AI)은 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 만들 수 있는 AI의 일종입니다. AI 기술은 이미지 인식, 자연어 처리(NLP), 번역과 같이 새로운 컴퓨팅 작업에서 인간 지능을 모방하려고 시도합니다. 생성형 AI는 인공 지능의 다음 단계입니다. 인간 언어, 프로그래밍 언어, 예술, 화학, 생물학 또는 복잡한 주제를 학습하도록 AI를 학습시킬 수 있습니다. AI는 학습 데이터를 재사용하여 새로운 문제를 해결합니다. 예를 들어, 영어 어휘를 학습하고 이를 처리하는 단어로 시를 지을 수 있습니다. 귀사 조직은 챗봇, 미디어 생성, 제품 개발과 설계 등 다양한 목적을 위해 생성형 AI를 사용할 수 있습니다.
지금까지 Google은 Google 제품이나 오픈소스 소프트웨어에 존재하는 취약성을 발견한 시큐리티 연구자에 대해 보상금을 지불하는 VRP라는 프로그램을 진행 해왔었는데 Google은 이 VRP의 범위를 확대하고 AI에 의한 시큐리티의 취약성과 공격성 보고를 보상금 지불의 대상이 된다는 것을 발표하였습니다. 이번 VRP의 적용 범위의 확대에 따르면 생성형 AI가 가진 시큐리티 상의 결함을 찾아서Google에 보고한 시큐리티 연구자나 화이트 해커에게는 발견한 취약성의 중요도에 따라 최대 3만1337달러가 지불됩니다.
TechCrunch는 전액 3만1337달러가 지불되는 조건에는 「Google 검색이나 Google Play 등의 기밀성이 높은 어플리케이션에 AI를 이용하여 command Injection 공격을 행하는 취약성이나 Deserialize의 버그를 발견한 경우」라고 말하고 있다. 발견된 취약성의 우선도가 낮은 경우의 보상액은 5000달러 이하입니다.
Google은 TechCrunch에 대해서 「VRP의 범위를 확대하여 AI의 안전성과 시큐리티에 관한 연구가 지금보다도 활발해져 생성형 AI가 갖고 있는 잠재적 문제가 밝혀지게 될 가능성이 있습니다. 따라서 보다 안전하며 안심되는 생성 AI 제품이 개발될 것이다」라고 설명하고 있습니다. 더욱이 Google은 시큐리티 연구자들로 부터 보고서를 수집함과 동시에 보다 안전한 AI 이용을 위해 화이트 해커 팀 「Google Red Team」을 독자적으로 조직하고 있습니다.
현재 Google Red Team은 대규모 언어 모델이 갖고 있는 적대적 프롬트를 입력하여 유해한 텍스트의 생성하거나 기밀 정보를 유출시키거나 하는 「프롬트 인잭션」과 같은 문제에 대해서 경고하고 있습니다.
또한 대규모 언어 모델이 훈련한 정보를 재구축하여 얻어진 데이터로 개인정보나 패스워드를 추출하는 「훈련 데이터 추출 공격」에 대해서도 Google에 경고하고 있습니다.
Google은 「AI는 악의를 가진 모델의 조작이나 부적절한 바이어스 등 종래의 기술과는 다른 시큐리티 문제를 가지고 있기 때문에 문제에 대처하기 위한 새로운 지침이 필요합니다.이번 VRP의 범위를 확대함으로 AI 공급망의 시큐리티에 관한 취약성이나 버그 등의 정보를 보편적으로 발견 및 검증할 수 있도록 하고 있다」라고 입장을 표명하였습니다.
마크애니는 기업, 기관의 기밀문서와 데이터를 보호하기 위해 촘촘한 엔드포인트 문서 보안 솔루션을 보유하고 있습니다. 랜섬웨어 공격으로 문서와 데이터가 유출돼도 인가된 직원이 아니면 함부로 파일을 열어볼 수 없고 사내·외, 원격 환경 지원이 가능해 언제 어디서나 기업 네트워크를 강력하게 보호하죠. 이미 공공, 금융, 제조, 유통 등 국내 600여 곳이 마크애니 솔루션과 함께하고 있답니다.
⭐기업의 모든 영역을 보호할 수 있는 보안 솔루션이 필요하시다면 마크애니와 함께 해보세요!
*참고자료
セキュリティ運用の新たな一手「脅威ハンティング」, GigaZine, 23-07-17
AWS | 생성형 AI란 무엇인가요?
마크애니 박춘식 고문는 10년 넘도록 매주 '보안 이야기'를 연재하고 있는 보안 전문가이다. Tokyo Institute of Technology 에서 박사 학위를 취득하고, 국가 보안 기술연구소 소장을 거쳐, 서울여자대학교 교수를 역임하였다. 현재는 아주대학교 사이버보안학과 교수로 재직중이다.
📢 생성형 AI의 취약점 발견 시 보상 제도 운영
Google은 2011년부터 프로그램이나 웹 서비스 등에 존재하는 취약성을 발견한 사용자에게 사례금을 지불하는 「Vulnerability Reward Program(VRP)」를 운영하고 있었습니다. 최근은 ChatGPT 등 생성형 AI가 흥행하고 있기에 Google은 2023년 10월26일 새롭게 생성AI의 취약성을 발견하고 보고한 시큐리티 연구자에 대해서 보상금을 지불하는 제도를 통과시켰습니다.
💡생성형 AI란?
생성형 인공 지능(생성형 AI)은 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 만들 수 있는 AI의 일종입니다. AI 기술은 이미지 인식, 자연어 처리(NLP), 번역과 같이 새로운 컴퓨팅 작업에서 인간 지능을 모방하려고 시도합니다. 생성형 AI는 인공 지능의 다음 단계입니다. 인간 언어, 프로그래밍 언어, 예술, 화학, 생물학 또는 복잡한 주제를 학습하도록 AI를 학습시킬 수 있습니다. AI는 학습 데이터를 재사용하여 새로운 문제를 해결합니다. 예를 들어, 영어 어휘를 학습하고 이를 처리하는 단어로 시를 지을 수 있습니다. 귀사 조직은 챗봇, 미디어 생성, 제품 개발과 설계 등 다양한 목적을 위해 생성형 AI를 사용할 수 있습니다.
지금까지 Google은 Google 제품이나 오픈소스 소프트웨어에 존재하는 취약성을 발견한 시큐리티 연구자에 대해 보상금을 지불하는 VRP라는 프로그램을 진행 해왔었는데 Google은 이 VRP의 범위를 확대하고 AI에 의한 시큐리티의 취약성과 공격성 보고를 보상금 지불의 대상이 된다는 것을 발표하였습니다. 이번 VRP의 적용 범위의 확대에 따르면 생성형 AI가 가진 시큐리티 상의 결함을 찾아서Google에 보고한 시큐리티 연구자나 화이트 해커에게는 발견한 취약성의 중요도에 따라 최대 3만1337달러가 지불됩니다.
TechCrunch는 전액 3만1337달러가 지불되는 조건에는 「Google 검색이나 Google Play 등의 기밀성이 높은 어플리케이션에 AI를 이용하여 command Injection 공격을 행하는 취약성이나 Deserialize의 버그를 발견한 경우」라고 말하고 있다. 발견된 취약성의 우선도가 낮은 경우의 보상액은 5000달러 이하입니다.
Google은 TechCrunch에 대해서 「VRP의 범위를 확대하여 AI의 안전성과 시큐리티에 관한 연구가 지금보다도 활발해져 생성형 AI가 갖고 있는 잠재적 문제가 밝혀지게 될 가능성이 있습니다. 따라서 보다 안전하며 안심되는 생성 AI 제품이 개발될 것이다」라고 설명하고 있습니다. 더욱이 Google은 시큐리티 연구자들로 부터 보고서를 수집함과 동시에 보다 안전한 AI 이용을 위해 화이트 해커 팀 「Google Red Team」을 독자적으로 조직하고 있습니다.
현재 Google Red Team은 대규모 언어 모델이 갖고 있는 적대적 프롬트를 입력하여 유해한 텍스트의 생성하거나 기밀 정보를 유출시키거나 하는 「프롬트 인잭션」과 같은 문제에 대해서 경고하고 있습니다.
또한 대규모 언어 모델이 훈련한 정보를 재구축하여 얻어진 데이터로 개인정보나 패스워드를 추출하는 「훈련 데이터 추출 공격」에 대해서도 Google에 경고하고 있습니다.
Google은 「AI는 악의를 가진 모델의 조작이나 부적절한 바이어스 등 종래의 기술과는 다른 시큐리티 문제를 가지고 있기 때문에 문제에 대처하기 위한 새로운 지침이 필요합니다.이번 VRP의 범위를 확대함으로 AI 공급망의 시큐리티에 관한 취약성이나 버그 등의 정보를 보편적으로 발견 및 검증할 수 있도록 하고 있다」라고 입장을 표명하였습니다.
마크애니는 기업, 기관의 기밀문서와 데이터를 보호하기 위해 촘촘한 엔드포인트 문서 보안 솔루션을 보유하고 있습니다. 랜섬웨어 공격으로 문서와 데이터가 유출돼도 인가된 직원이 아니면 함부로 파일을 열어볼 수 없고 사내·외, 원격 환경 지원이 가능해 언제 어디서나 기업 네트워크를 강력하게 보호하죠. 이미 공공, 금융, 제조, 유통 등 국내 600여 곳이 마크애니 솔루션과 함께하고 있답니다.
⭐기업의 모든 영역을 보호할 수 있는 보안 솔루션이 필요하시다면 마크애니와 함께 해보세요!
*참고자료
セキュリティ運用の新たな一手「脅威ハンティング」, GigaZine, 23-07-17
AWS | 생성형 AI란 무엇인가요?
마크애니 박춘식 고문는 10년 넘도록 매주 '보안 이야기'를 연재하고 있는 보안 전문가이다. Tokyo Institute of Technology 에서 박사 학위를 취득하고, 국가 보안 기술연구소 소장을 거쳐, 서울여자대학교 교수를 역임하였다. 현재는 아주대학교 사이버보안학과 교수로 재직중이다.