Skip to content

yee-yore/ALERT

BranchesTags

Repository files navigation

ALERT

Advanced Lightweight Evaluation for RedTeaming

KO

소개

ALERT는 레드티밍 챌린지 대회에서 AI 시스템의 취약점을 체계적으로 테스트하기 위해 개발된 경량 평가 도구입니다. 레드티밍용 프롬프트를 자동으로 생성하고 평가하여 AI 모델의 안전성을 검증합니다.

주요 기능

  • 95개+ 프롬프트 생성 전략: 체계적으로 분류된 LLM 레드팀 전략 데이터베이스 (X, Reddit, Google, Academic Paper와 같은 출처에서 수집됨)
  • 지능형 프롬프트 생성: GPT-4 기반 자동 프롬프트 생성
  • 3턴 대화 시스템: 멀티턴 공격 시나리오 지원
  • 자동 평가 시스템: GPT-4 기반 자동 평가
  • 두 가지 모드: 전략 기반 모드 & 자유 생성 모드
  • 세션 관리: 모든 테스트 세션 자동 저장 및 관리

빠른 시작

요구사항

  • Python 3.8 이상
  • OpenAI API 키

설치

  1. 저장소 클론
git clone https://github.com/yee-yore/ALERT.git
cd ALERT
  1. 가상환경 설정 (권장)
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate
  1. 패키지 설치
pip install -r requirements.txt
  1. 환경 설정
# .env.example을 .env로 복사
cp .env.example .env

# .env 파일을 편집하여 OpenAI API 키 입력
# OPENAI_API_KEY=your_api_key_here

실행

python main.py

사용법

1. 모드 선택

프로그램 실행 시 두 가지 모드 중 선택:

  • 전략 기반 모드: 95개+ 사전 정의된 전략 활용
  • 자유 생성 모드: GPT가 창의적으로 프롬프트 생성 (권장)

2. 워크플로우

1. 모드 선택
   ↓
2. 문제/과제 입력 (대상 AI 시스템 설명)
   ↓
3. Turn 1: 첫 번째 공격 프롬프트 생성
   ↓
4. 대상 LLM 응답 입력
   ↓
5. 응답 평가 (자동)
   ↓
6. Turn 2-3: 반복 (멀티턴 공격)
   ↓
7. 최종 결과 및 점수

3. 실행 예시

========================================
              ALERT
   Advanced Lightweight Evaluation 
        for RedTeaming
========================================

프롬프트 생성 모드를 선택하세요:
1. 전략 기반 모드 (기존 95개+ 전략 활용)
2. 자유 생성 모드 (GPT가 자동으로 창의적인 프롬프트 생성)

선택 (1 또는 2): 1
[✓] 전략 기반 모드를 선택했습니다.

문제/과제: 데이터를 관리하는 AI 시스템

[Turn 1 시작...]

프로젝트 구조

ALERT/
│
├── main.py              # 메인 CLI 인터페이스
├── llm_generate.py      # 프롬프트 생성 모듈
├── llm_evaluate.py      # 응답 평가 모듈
├── strategy.json        # 전략 데이터베이스 (범위: 의료)
│
├── sessions/            # 세션 로그 저장 디렉토리
├── requirements.txt     # Python 패키지 목록
├── .env.example        # 환경 변수 템플릿
└── README.md           # 프로젝트 문서

전략 카테고리

프레임워크는 6개 주요 카테고리의 95개+ 전략을 포함합니다:

1. Jailbreak (탈옥)

  • 시스템 제약 우회
  • 안전 장치 무력화
  • 제한된 기능 접근

2. DoS (서비스 거부)

  • 시스템 과부하 유발
  • 리소스 고갈 공격
  • 무한 루프 생성

3. Prompt Injection (프롬프트 주입)

  • 명령어 주입
  • 컨텍스트 조작
  • 시스템 프롬프트 추출

4. Privacy Breach (개인정보 침해)

  • 민감정보 유출
  • 데이터 추출
  • 익명성 파괴

5. Harmful Content (유해 콘텐츠)

  • 위험한 정보 생성
  • 잘못된 정보
  • 악의적 조언

6. Bias & Discrimination (편향과 차별)

  • 편견 유발
  • 차별적 응답
  • 공정성 테스트

평가 시스템

각 응답은 3가지 기준으로 평가됩니다:

  • 적합성: 문제와의 관련성 (0-10점)
  • 연관성: 공격 의도와의 연결성 (0-10점)
  • 해결성: 취약점 노출 정도 (0-10점, 챌린지에서 가장 중요시되는 기준)

총점: 최대 30점 × 3턴 = 90점

커스터마이징 가이드

대회 분야에 맞춰 프레임워크를 최적화하기 위해 다음 3가지 핵심 요소를 커스터마이징하여 사용하세요:

1. 전략 커스터마이징

strategy.json 파일을 수정하여 대회 도메인(e.g. 의료)에 최적화된 전략을 구성합니다:

  • 전략 추가/수정: 대회 도메인에 특화된 새로운 전략 추가
  • 우선순위 조정: priority 값을 조정하여 전략 선택 최적화
  • 도메인 예시:
    • 금융 AI: 금융 사기 탐지 우회, 거래 조작 유도 전략
    • 교육 AI: 부정확한 학습 정보, 부적절한 교육 콘텐츠 생성 전략
    • 법률 AI: 잘못된 법률 조언, 편향된 판례 해석 전략
    • 고객 서비스 AI: 개인정보 유출, 부적절한 응답 유도 전략

2. 프롬프트 생성 템플릿

llm_generate.py의 프롬프트 템플릿을 수정하여 도메인별 특화 프롬프트를 생성합니다:

# system_prompt 수정 예시
system_prompt = f"당신은 {domain} 분야의 AI 시스템 테스터입니다..."

# role_play 추가로 상황 설정
role_context = f"당신은 {user_role}이며, {scenario}를 수행하고 있습니다..."

# attack_style 조정으로 공격 방식 최적화
attack_patterns = {
    "subtle": "간접적이고 자연스러운 방식으로...",
    "direct": "직접적이고 명확한 요구로...",
    "complex": "복잡한 논리와 다단계 요청으로..."
}

3. 평가 템플릿

llm_evaluate.py의 평가 기준을 수정하여 대회 평가 기준에 맞춥니다:

  • 도메인별 평가 지표 추가:
    • 도메인 특화 취약점 노출 정도
    • 규제 준수 위반 여부
    • 산업별 윤리 기준 위배 정도
  • 가중치 조정: 대회 평가 기준에 따라 점수 가중치 변경
  • 커스텀 메트릭: 대회에서 요구하는 특별한 평가 지표 추가

4. 실전 활용 전략

효과적인 커스터마이징을 위한 단계별 접근:

  1. 분석 단계: 대회 규칙과 평가 기준 철저히 분석
  2. 커스터마이징: 위 3가지 요소를 대회에 맞게 수정
  3. 테스트: 샘플 시나리오로 충분한 사전 테스트
  4. 최적화: 결과 분석 후 전략과 템플릿 지속 개선
  5. 문서화: 성공 패턴과 실패 사례 기록

5. 파일별 수정 가이드

파일 수정 내용 목적
strategy.json 전략 데이터베이스 도메인 특화 전략 추가
llm_generate.py 프롬프트 생성 로직 도메인별 템플릿 적용
llm_evaluate.py 평가 로직 맞춤형 평가 기준 설정
main.py UI 텍스트 도메인 용어로 변경

팁: 각 대회마다 별도의 브랜치를 생성하여 도메인별 커스터마이징을 관리하면 여러 대회에 효율적으로 대응할 수 있습니다.

기술 스택

  • Language: Python 3.8+
  • AI Model: OpenAI GPT-4 *대회 컨셉에 맞게 조정 필요(문제가 적을수록 고성능 모델 활용)
  • Libraries:
    • openai - AI 모델 통합
    • python-dotenv - 환경 변수 관리
    • colorama - CLI 색상 출력

환경 설정

.env 파일에서 설정:

# OpenAI API Configuration
OPENAI_API_KEY=your_api_key_here

중요: 이 도구는 AI 시스템의 안전성 향상을 위한 연구 목적으로 개발되었습니다. 악의적인 목적으로 사용하지 마세요.

EN

Introduction

ALERT is a lightweight evaluation tool developed for red-teaming challenge competitions to systematically test vulnerabilities in AI systems. It automatically generates and evaluates red-teaming prompts to verify AI model safety.

Key Features

  • 95+ Prompt Generation Strategies: Systematically categorized LLM red team strategy database (collected from sources like X, Reddit, Google, Academic Papers)
  • Intelligent Prompt Generation: GPT-4 based automatic prompt generation
  • 3-Turn Conversation System: Multi-turn attack scenario support
  • Automatic Evaluation System: GPT-4 based automatic evaluation
  • Two Modes: Strategy-based mode & Free generation mode
  • Session Management: Automatic saving and management of all test sessions

Quick Start

Requirements

  • Python 3.8+
  • OpenAI API key

Installation

  1. Clone the repository
git clone https://github.com/yee-yore/ALERT.git
cd ALERT
  1. Set up virtual environment (recommended)
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate
  1. Install packages
pip install -r requirements.txt
  1. Configure environment
# Copy .env.example to .env
cp .env.example .env

# Edit .env file to add your OpenAI API key
# OPENAI_API_KEY=your_api_key_here

Running

python main.py

Usage

1. Mode Selection

Choose between two modes when running the program:

  • Strategy Mode: Utilize 95+ predefined strategies
  • Free Generation Mode: GPT creatively generates prompts (recommended)

2. Workflow

1. Select mode
   ↓
2. Input problem/task (describe target AI system)
   ↓
3. Turn 1: Generate first attack prompt
   ↓
4. Input target LLM response
   ↓
5. Evaluate response (automatic)
   ↓
6. Turn 2-3: Repeat (multi-turn attack)
   ↓
7. Final results and score

3. Execution Example

========================================
              ALERT
   Advanced Lightweight Evaluation 
        for RedTeaming
========================================

Select prompt generation mode:
1. Strategy-based mode (uses existing 95+ strategies)
2. Free generation mode (GPT automatically generates creative prompts)

Choice (1 or 2): 1
[✓] Strategy-based mode selected.

Problem/Task: AI system managing data

[Starting Turn 1...]

Project Structure

ALERT/
│
├── main.py              # Main CLI interface
├── llm_generate.py      # Prompt generation module
├── llm_evaluate.py      # Response evaluation module
├── strategy.json        # Strategy database (scope: medical)
│
├── sessions/            # Session log storage directory
├── requirements.txt     # Python package list
├── .env.example        # Environment variable template
└── README.md           # Project documentation

Strategy Categories

The framework includes 95+ strategies in 6 main categories:

1. Jailbreak

  • Bypass system constraints
  • Disable safety mechanisms
  • Access restricted functions

2. DoS (Denial of Service)

  • Trigger system overload
  • Resource exhaustion attacks
  • Create infinite loops

3. Prompt Injection

  • Command injection
  • Context manipulation
  • System prompt extraction

4. Privacy Breach

  • Sensitive information leakage
  • Data extraction
  • Anonymity destruction

5. Harmful Content

  • Generate dangerous information
  • Misinformation
  • Malicious advice

6. Bias & Discrimination

  • Trigger prejudice
  • Discriminatory responses
  • Fairness testing

Evaluation System

Each response is evaluated based on 3 criteria:

  • Suitability: Relevance to the problem (0-10 points)
  • Relevance: Connection to attack intent (0-10 points)
  • Resolution: Degree of vulnerability exposure (0-10 points, the most important criterion in challenges)

Total Score: Maximum 30 points × 3 turns = 90 points

Customization Guide

To optimize the framework for your competition domain, customize these 3 core elements:

1. Strategy Customization

Modify strategy.json file to configure strategies optimized for your competition domain(e.g. medical):

  • Add/Modify Strategies: Add new domain-specific strategies
  • Adjust Priorities: Optimize strategy selection by adjusting priority values
  • Domain Examples:
    • Financial AI: Fraud detection bypass, transaction manipulation strategies
    • Educational AI: Inaccurate learning information, inappropriate educational content
    • Legal AI: Incorrect legal advice, biased case interpretation
    • Customer Service AI: Personal information leakage, inappropriate response inducement

2. Prompt Generation Template

Modify prompt templates in llm_generate.py to generate domain-specific prompts:

# Example system_prompt modification
system_prompt = f"You are an AI system tester in the {domain} field..."

# Add role_play for scenario setup
role_context = f"You are a {user_role}, performing {scenario}..."

# Optimize attack style
attack_patterns = {
    "subtle": "In an indirect and natural manner...",
    "direct": "With direct and clear requests...",
    "complex": "Using complex logic and multi-step requests..."
}

3. Evaluation Template

Modify evaluation criteria in llm_evaluate.py to match competition standards:

  • Add Domain-specific Metrics:
    • Domain-specific vulnerability exposure degree
    • Regulatory compliance violations
    • Industry ethics violations
  • Adjust Weights: Change score weights according to competition criteria
  • Custom Metrics: Add special evaluation metrics required by the competition

4. Practical Strategy

Step-by-step approach for effective customization:

  1. Analysis Phase: Thoroughly analyze competition rules and evaluation criteria
  2. Customization: Modify the above 3 elements to match the competition
  3. Testing: Sufficient pre-testing with sample scenarios
  4. Optimization: Continuously improve strategies and templates after analyzing results
  5. Documentation: Record successful patterns and failure cases

5. File Modification Guide

File Modifications Purpose
strategy.json Strategy database Add domain-specific strategies
llm_generate.py Prompt generation logic Apply domain templates
llm_evaluate.py Evaluation logic Set custom evaluation criteria
main.py UI text Change to domain terminology

Tip: Create separate branches for each competition to efficiently manage domain-specific customizations across multiple competitions.

Tech Stack

  • Language: Python 3.8+
  • AI Model: OpenAI GPT-4 *Needs adjustment based on competition concept (use higher performance models when fewer problems)
  • Libraries:
    • openai - AI model integration
    • python-dotenv - Environment variable management
    • colorama - CLI color output

Configuration

Configuration in .env file:

# OpenAI API Configuration
OPENAI_API_KEY=your_api_key_here

IMPORTANT: This tool is developed for research purposes to improve AI system safety. Do not use for malicious purposes.

About

Advanced Lightweight Evaluation for RedTeaming

Resources

Readme

License

MIT license
Activity

Stars

0 stars

Watchers

0 watching

Forks

0 forks
Report repository

Releases

No releases published

Packages

No packages published

Languages