언어 모델의 거부 행동은 단일 방향에 의해 매개됨

#오픈소스 모델

18억~720억 매개변수 규모의 오픈소스 대화 모델 13개에서 모델별 단일 활성화 방향을 제거하면 유해한 요청의 거부가 줄고, 반대로 더하면 무해한 요청도 거부하는 현상을 확인함유해한 지시와 무해한 지시에 대한 평균 활성화의 차이로 거부 방향을 추출하며, 이를 잔차 스트림에서 제거하는 개입은 가중치의 랭크 1 수정으로도 구현 가능함가중치 직교화는 기울기…

원문의 저작권은 GeekNews에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.