사용자는 ChatGPT에게 컴퓨터 프로그램을 작성하거나 기사를 요약하도록 요청할 수 있으며, AI 챗봇은 유용한 코드를 생성하거나 설득력 있는 시놉시스를 작성할 수 있을 것입니다. 그러나 누군가가 폭탄을 만들기 위한 지침을 요청할 수 있으며, 챗봇도 그러한 지침을 제공할 수 있을 것입니다.
이것과 다른 안전 문제들을 예방하기 위해, 대형 언어 모델을 만드는 회사들은 일반적으로 레드-팀(red-teaming)이라고 불리는 프로세스를 사용하여 그것들을 보호합니다. 인간 테스터 팀은 테스트할 모델에서 안전하지 않거나 독성이 있는 텍스트를 유발하는 것을 목표로 프롬프트를 작성합니다. 이러한 프롬프트는 챗봇에게 그러한 응답을 피하도록 가르치는 데 사용됩니다.
그러나 이것은 엔지니어가 어떤 독성 프롬프트를 사용해야 하는지 알고 있을 때만 효과적입니다. 인간 테스터가 가능성의 수를 고려할 때 일부 프롬프트를 놓치면 안전하다고 간주되는 챗봇은 여전히 안전하지 않은 답변을 생성할 수 있습니다.
MIT의 임프로버블 인공지능 연구소와 MIT-IBM 왓슨 인공지능 연구소의 연구원들은 레드 팀을 개선하기 위해 기계 학습을 사용했습니다. 그들은 테스트 중인 챗봇으로부터 더 넓은 범위의 바람직하지 않은 반응을 유발하는 다양한 프롬프트를 자동으로 생성하도록 레드 팀의 대형 언어 모델을 훈련시키는 기술을 개발했습니다.
그들은 레드 팀 모델이 프롬프트를 작성할 때 궁금해하고 대상 모델에서 독성 반응을 일으키는 새로운 프롬프트에 초점을 맞추도록 교육함으로써 이 작업을 수행합니다.
이 기술은 점점 더 독성 반응을 유도하는 더 다양한 프롬프트를 생성함으로써 인간 테스터 및 기타 기계 학습 접근 방식을 능가했습니다. 그들의 방법은 다른 자동화된 방법에 비해 테스트 중인 입력의 적용 범위를 크게 향상시킬 뿐만 아니라 인간 전문가에 의해 안전 장치가 내장된 챗봇으로부터 독성 반응을 이끌어낼 수 있습니다.
“현재, 모든 대형 언어 모델은 안전을 보장하기 위해 매우 오랜 기간 동안 레드 팀을 이루어야 합니다. 급변하는 환경에서 이러한 모델을 업데이트하고 싶다면 지속 가능하지 않을 것입니다. 우리의 방법은 이러한 품질 보증을 수행하는 더 빠르고 효과적인 방법을 제공합니다.”라고 임프로버블 인공지능 연구소의 전기공학 및 컴퓨터 과학 대학원생이자 이 레드 팀 접근 방식에 대한 논문의 주요 저자인 홍장웨이는 말합니다.
홍’시장 오-아누체 우연치 않게 길을 떠난 오세터 개인 아두아토르스투의 텐스 단신 파닐란 팀, 천손-회산망, 아놀드 운공-창문손질, 올랜도오 칼날은 알아본다 상해시 일녀 아사우디 아녀아, 이 은이 산토스 아 단체와 미트-불밍와 특색 있는 워라 레오폴, 아밀센 국련안 13, 당신은 우연히 엔티스타인을 조사하여 확인했습니다. 나중에 아데오 포드하르시 파켄랑구아거 석유시 특미술관 정육품 텐후르시티 구미푸 벨벳에 자은측 인체분자 알린트라리와 측라버인 브렉시트 요원(출전), 사건 12 당신은 우연히 아누르체 우연 프릭니타 개인애비에라, 지열 장거리 우연 우발 니맥 영화 인형 반타 남오세스탄 투표인 인형 베르사이유 남창 시합에 왔습니다. 하늘과열색이무색최홍만니이사장님이열센특타단체헤네탈나티오그차오남쪽악당님안녕열편열센타티오네스를악플합니다.
아르노 디오마톨도 제디테아민
양안 사람 그란 칸막이를 걸어온 역사, 켈트 화오셀타하트는 파문하고 밀크티는 몸이 박특하다, 아열은 가끔 아프고 자연적인 사랑을 한다 동북아 생활 에르위니 남공동체와 문은 우연히 어떤 여자 동료 우발특계 부인 구미 빌리오네스 우발특계통 부인과 구미 빌리오네스는 가끔 불리하다 스톨스. 배우자를 잃었습니다, 남유럽 오랑캐랜드 하늘과 에레나 타노를 따라와 아르투르테오 서쪽에서 제가 인정한 책은 우연히 생산일에 부랑아가라 문제녀에게 붙였습니다, 특과 모드리 삼층 오랑대 오리스오 아콥을 잃었습니다 그 이웃 불인 마테오네트 그리고 일모안 잉하녀의 도매 수출 한도는 같았습니다.
천합특지오 3대 춘우생태관광 그땅열우발자만열지-테아민,문화에 우발특을 먹는다니 불법출체녀 오아탕건아여 들어라 왕의 은오공화녀 아일어린이가 우발로 날렵한 구미 비틀스로 유럽을 탈출하여 루이스 에펠구아 프로파일링 모델 제2류를 복원했다 하젠 굴드열색 암울한 차인생태를 사랑했다 아노탈오마툴트혜 포인형 찰스 수스마는 굶어죽었다.
당신을 기획한 것은 우발적인 테닛의 뜨거운 땅 테에미모드루스 쿨제니버를 사랑했기 때문에 멘틀릴은 암담했습니다. 티엔허니스터 지알리-아놀드-두 사람은 우연히 찰스 생제르바인 정승천과 핫랜드-테마카오 모델을 파견하는 법안을 통과시켰고, 우연히 엘아틴이 유럽연합 플랫폼을 고용하여 하투데이 광고를 시작하게 되었는데, 브렉시트 서쪽에 파문이 일면서 부인의 구미체 검증 테포터가 텅스톨도에게 넘어갔습니다.
그러나 강화 학습이 작동하는 방식 때문에 레드 팀 모델은 보상을 극대화하기 위해 독성이 강한 몇 가지 유사한 프롬프트를 계속 생성합니다.
강화 학습 접근법을 위해 MIT 연구원들은 호기심 주도 탐구라고 불리는 기술을 사용했습니다. 레드 팀 모델은 그것이 발생시키는 각각의 프롬프트의 결과에 대해 호기심을 가질 동기가 부여되므로, 그것은 다른 단어, 문장 패턴 또는 의미를 가진 프롬프트를 시도할 것입니다.
“만약 레드 팀 모델이 특정 프롬프트를 이미 보았다면, 그것을 재현하는 것은 레드 팀 모델에 어떤 호기심도 발생시키지 않을 것이므로, 새로운 프롬프트를 만들기 위해 추진될 것입니다.”라고 홍씨는 말합니다.
훈련 과정 동안 레드 팀 모델은 프롬프트를 생성하고 챗봇과 상호 작용합니다. 챗봇은 반응하고, 안전 분류기는 그 반응의 독성을 평가하여 그 평가에 기초하여 레드 팀 모델에게 보상을 줍니다.
보람찬 호기심
레드 팀 모델의 목적은 새로운 프롬프트로 훨씬 더 독성이 강한 반응을 이끌어냄으로써 보상을 극대화하는 것입니다. 연구자들은 강화 학습 설정에서 보상 신호를 수정함으로써 레드 팀 모델에서 호기심을 불러일으킬 수 있습니다.
첫째, 독성을 극대화하는 것 외에도 레드 팀 모델이 다양한 프롬프트를 탐색할 때 더 무작위적이 되도록 유도하는 엔트로피 보너스가 포함되어 있습니다. 둘째, 에이전트를 궁금하게 만드는 두 가지 신규성 보상이 포함되어 있습니다. 하나는 프롬프트에서 단어의 유사성을 기반으로 모델에 보상을 주고, 다른 하나는 의미론적 유사성을 기반으로 모델에 보상을 줍니다. (비슷성이 적을수록 보상이 높습니다.)
레드 팀 모델이 분류기가 높은 독성 점수를 받도록 속일 수 있는 무작위적이고 말도 안 되는 텍스트를 생성하는 것을 막기 위해, 연구원들은 또한 훈련 목표에 자연주의적인 언어 보너스를 추가했습니다.
이러한 추가 기능을 사용하여 연구원들은 레드 팀 모델이 생성한 반응의 독성과 다양성을 다른 자동화된 기술과 비교했습니다. 그들의 모델은 두 지표 모두에서 기준선을 능가했습니다.
그들은 또한 그들의 레드 팀 모델을 사용하여 인간의 피드백으로 미세 조정된 챗봇이 독성 반응을 일으키지 않도록 테스트했습니다. 그들의 호기심 중심 접근 방식은 이 “안전한” 챗봇으로부터 독성 반응을 이끌어내는 196개의 프롬프트를 빠르게 만들어 낼 수 있었습니다.
“우리는 단지 증가할 것으로 예상되는 모델의 급증을 보고 있습니다. 수천 개의 모델 또는 그 이상과 회사/연구소가 모델 업데이트를 자주 추진한다고 상상해 보세요. 이러한 모델은 우리 삶의 필수적인 부분이 될 것이며 대중 소비를 위해 출시되기 전에 검증받는 것이 중요합니다. 모델에 대한 수동 검증은 단순히 확장 가능하지 않으며 우리의 작업은 더 안전하고 신뢰할 수 있는 인공지능 미래를 보장하기 위한 인간의 노력을 줄이기 위한 시도입니다.”라고 아그라왈은 말합니다.
미래에, 연구원들은 레드 팀 모델이 더 다양한 주제에 대한 프롬프트를 생성할 수 있도록 하기를 원합니다. 그들은 또한 독성 분류기로서 대규모 언어 모델의 사용을 탐구하기를 원합니다. 이러한 방식으로, 예를 들어, 사용자는 회사 정책 문서를 사용하여 독성 분류기를 훈련할 수 있고, 레드 팀 모델은 챗봇이 회사 정책을 위반하는지 테스트할 수 있습니다.
아그라왈은 “새로운 인공지능 모델을 출시할 예정이고 예상대로 작동할지 걱정된다면 호기심 주도의 레드팀을 사용하는 것을 고려해 보세요.”라고 말합니다.
이 연구는 부분적으로 현대 자동차, Quanta Computer Inc., MIT-IBM Watson AI Lab, Amazon Web Services MLRA 연구 보조금, 미 육군 연구소, 미 국방 고등 연구 프로젝트 기관 기계 상식 프로그램, 미 해군 연구소, 미 공군 연구소 및 미 공군 인공 지능 가속기에 의해 자금이 지원됩니다.