AI Newsletter Digest improvements: fixed QP soft line break decoding, URL extraction, and content cleaning
This commit is contained in:
Krilly
272
skills/openclaw-self-healing/docs/level1-rollout-summary.md
Normal file
272
skills/openclaw-self-healing/docs/level1-rollout-summary.md
Normal file
@@ -0,0 +1,272 @@
|
||||
# Level 1 Auto-Retry 전체 배포 요약
|
||||
|
||||
> 배포일: 2026-02-05
|
||||
> 상태: ✅ 4개 cron 적용 완료
|
||||
|
||||
## 배포 완료 목록
|
||||
|
||||
### 1. TQQQ 15분 모니터링 ✅
|
||||
- **스케줄**: `*/15 * * * *` (15분마다)
|
||||
- **Wrapper**: `~/openclaw/scripts/tqqq-monitor-with-retry.js`
|
||||
- **대상 API**: Yahoo Finance (TQQQ)
|
||||
- **테스트**: ✅ 성공 (1.9초, 1 attempt)
|
||||
|
||||
### 2. GitHub 감시 ✅
|
||||
- **스케줄**: `50 16 * * 1-5` (평일 16:50)
|
||||
- **Wrapper**: `~/openclaw/scripts/github-watcher-with-retry.js`
|
||||
- **대상 API**: GitHub Notifications API (`gh api notifications`)
|
||||
- **테스트**: ✅ 성공 (1.2초, 1 attempt)
|
||||
|
||||
### 3. 시장 급변 감지 ✅
|
||||
- **스케줄**: `0 7-23 * * 1-5` (평일 7-23시 매시간)
|
||||
- **Wrapper**: `~/openclaw/scripts/tqqq-monitor-with-retry.js` (재사용)
|
||||
- **대상 API**: Yahoo Finance (TQQQ)
|
||||
- **테스트**: ✅ TQQQ wrapper와 동일
|
||||
|
||||
### 4. 일일 주식 브리핑 ✅
|
||||
- **스케줄**: `0 6 * * 1-5` (평일 06:00)
|
||||
- **Wrapper**: `~/openclaw/scripts/stock-briefing-with-retry.js`
|
||||
- **대상 API**:
|
||||
- Yahoo Finance (TQQQ, SOXL, NVDA)
|
||||
- Hot Scanner (Python)
|
||||
- Rumor Scanner (Python)
|
||||
- **테스트**: ✅ 성공 (모든 스크립트 1 attempt)
|
||||
|
||||
## 생성된 파일
|
||||
|
||||
### Wrapper Scripts
|
||||
```
|
||||
~/openclaw/scripts/
|
||||
├── tqqq-monitor-with-retry.js (TQQQ, 시장 급변 감지)
|
||||
├── github-watcher-with-retry.js (GitHub 감시)
|
||||
└── stock-briefing-with-retry.js (일일 주식 브리핑)
|
||||
```
|
||||
|
||||
### 공통 라이브러리
|
||||
```
|
||||
~/openclaw/lib/
|
||||
└── auto-retry.js (모든 wrapper에서 공유)
|
||||
```
|
||||
|
||||
### 로그
|
||||
```
|
||||
~/openclaw/logs/
|
||||
└── auto-retry.jsonl (모든 실행 기록 통합)
|
||||
```
|
||||
|
||||
### 문서
|
||||
```
|
||||
~/openclaw/docs/
|
||||
├── auto-retry-integration.md (통합 가이드)
|
||||
├── level1-tqqq-deployment.md (TQQQ 배포 기록)
|
||||
└── level1-rollout-summary.md (이 문서)
|
||||
```
|
||||
|
||||
## 배포 전후 비교
|
||||
|
||||
### Before (Auto-Retry 없음)
|
||||
```
|
||||
API 호출 실패 → ❌ 즉시 에러 → Discord 에러 알림 → 수동 재실행 필요
|
||||
|
||||
예상 실패율: ~10% (일시적 네트워크 장애)
|
||||
```
|
||||
|
||||
### After (Level 1 적용)
|
||||
```
|
||||
API 호출 실패 → 🔄 자동 재시도 (exponential backoff)
|
||||
→ 🔄 재시도 2
|
||||
→ ✅ 성공 (90% 복구 예상)
|
||||
→ ❌ 최종 실패 (3회 후, 10%)
|
||||
|
||||
예상 실패율: ~1% (재시도로 90% 복구)
|
||||
```
|
||||
|
||||
**효과**:
|
||||
- 수동 개입 필요: 100% → 10% (90% 감소)
|
||||
- 안정성: 90% → 99% (10% 향상)
|
||||
|
||||
## 설정 공통값
|
||||
|
||||
모든 wrapper는 동일한 설정 사용:
|
||||
|
||||
```javascript
|
||||
{
|
||||
maxRetries: 3, // 최대 3회 재시도
|
||||
backoff: 'exponential', // 1s, 2s, 4s
|
||||
timeout: 15000, // 15초
|
||||
maxBuffer: 10MB // 출력 버퍼
|
||||
}
|
||||
```
|
||||
|
||||
## 에러 분류 (통일)
|
||||
|
||||
### Retryable (자동 재시도)
|
||||
- Network: `ETIMEDOUT`, `ECONNRESET`, `ENOTFOUND`, `EAI_AGAIN`, `ECONNREFUSED`
|
||||
- HTTP: 408, 429, 500, 502, 503, 504
|
||||
|
||||
### Non-retryable (즉시 실패)
|
||||
- HTTP: 400, 401, 403, 404
|
||||
- File: `ENOENT`
|
||||
- 기타 로직 에러
|
||||
|
||||
## Discord 알림
|
||||
|
||||
**조건**: 재시도 발생 시에만 알림 (성공 시 조용)
|
||||
|
||||
### 재시도 중 (Orange)
|
||||
```
|
||||
🔄 재시도 중
|
||||
[작업명] (시도 2/3)
|
||||
|
||||
에러: Request timeout
|
||||
카테고리: timeout
|
||||
다음 시도: 2000ms 후
|
||||
```
|
||||
|
||||
### 성공 (Green)
|
||||
```
|
||||
✅ 재시도 성공
|
||||
[작업명] (2번째 시도에서 성공)
|
||||
```
|
||||
|
||||
### 최종 실패 (Red)
|
||||
```
|
||||
❌ 최종 실패
|
||||
[작업명] (3회 시도 후 실패)
|
||||
|
||||
제안: Network timeout - check connection
|
||||
```
|
||||
|
||||
## 테스트 결과
|
||||
|
||||
| Wrapper | 테스트 결과 | Duration | Attempts |
|
||||
|---------|------------|----------|----------|
|
||||
| TQQQ Monitor | ✅ 성공 | 1,912ms | 1 |
|
||||
| GitHub Watcher | ✅ 성공 | 1,203ms | 1 |
|
||||
| Stock Briefing | ✅ 성공 | ~30s | 1 (각) |
|
||||
|
||||
**모든 wrapper가 첫 시도에서 성공** → 정상 동작 확인
|
||||
|
||||
## 로그 모니터링
|
||||
|
||||
### 실시간 확인
|
||||
```bash
|
||||
tail -f ~/openclaw/logs/auto-retry.jsonl
|
||||
```
|
||||
|
||||
### 재시도 발생 건수
|
||||
```bash
|
||||
jq 'select(.attempts > 1)' ~/openclaw/logs/auto-retry.jsonl | wc -l
|
||||
```
|
||||
|
||||
### 최근 실패
|
||||
```bash
|
||||
jq 'select(.type == "failure")' ~/openclaw/logs/auto-retry.jsonl | tail -5
|
||||
```
|
||||
|
||||
### Cron별 통계
|
||||
```bash
|
||||
# TQQQ
|
||||
jq -r 'select(.context.cron == "TQQQ 15분 모니터링")' ~/openclaw/logs/auto-retry.jsonl | tail -10
|
||||
|
||||
# GitHub
|
||||
jq -r 'select(.context.cron == "GitHub 감시")' ~/openclaw/logs/auto-retry.jsonl | tail -10
|
||||
|
||||
# 주식 브리핑
|
||||
jq -r 'select(.context.cron == "일일 주식 브리핑")' ~/openclaw/logs/auto-retry.jsonl | tail -10
|
||||
```
|
||||
|
||||
## 추가 적용 후보
|
||||
|
||||
### 우선순위 2 (네트워크 의존)
|
||||
- [ ] 트렌드 헌터 (웹 검색 - AI tool 사용, wrapper 불필요)
|
||||
- [ ] IT/AI 뉴스 브리핑 (웹 검색 - AI tool 사용, wrapper 불필요)
|
||||
- [ ] 외부 API 사용량 모니터링 (API 호출 있는지 확인 필요)
|
||||
|
||||
### 우선순위 3 (선택적)
|
||||
- [ ] 실적 발표 캘린더
|
||||
- [ ] 환율 모니터링
|
||||
- [ ] Kakao Token 자동 갱신
|
||||
|
||||
**참고**: AI가 직접 WebSearch/WebFetch 도구를 사용하는 cron은 wrapper보다는 AI 프롬프트 레벨에서 재시도 로직 안내가 더 적합할 수 있음.
|
||||
|
||||
## 검증 일정
|
||||
|
||||
### 1주차 (2026-02-05 ~ 02-12)
|
||||
- [x] 4개 cron에 auto-retry 적용
|
||||
- [ ] 로그 분석 (재시도 발생 빈도)
|
||||
- [ ] 자동 복구 성공률 측정
|
||||
- [ ] Discord 알림 정상 작동 확인
|
||||
|
||||
### 2주차 (2026-02-12 ~ 02-19)
|
||||
- [ ] 추가 cron 적용 (우선순위 2)
|
||||
- [ ] 설정 최적화 (필요 시 backoff/maxRetries 조정)
|
||||
- [ ] 로그 용량 확인 및 rotation 설정
|
||||
|
||||
### 3주차 (2026-02-19 ~ 02-26)
|
||||
- [ ] 전체 안정화
|
||||
- [ ] 효과 분석 리포트 작성
|
||||
- [ ] Level 2 설계 시작 (파라미터 자동 조정)
|
||||
|
||||
## Cron 재시작 필요 여부
|
||||
|
||||
OpenClaw Gateway는 `~/.openclaw/cron/jobs.json`을 읽으므로:
|
||||
- **파일 수정만으로 적용됨** (재시작 불필요)
|
||||
- 다음 스케줄 시간에 자동 반영
|
||||
|
||||
**확인 방법**:
|
||||
```bash
|
||||
# Gateway 로그 확인
|
||||
tail -f ~/.openclaw/gateway/logs/gateway.log
|
||||
|
||||
# 또는 openclaw doctor
|
||||
openclaw doctor
|
||||
```
|
||||
|
||||
## 주의사항
|
||||
|
||||
1. **기존 스크립트 변경 없음**
|
||||
- 모든 기존 스크립트는 그대로 유지
|
||||
- Wrapper만 추가하는 방식
|
||||
|
||||
2. **로그 누적**
|
||||
- JSONL 형식으로 무한 누적 (rotation 설정 권장)
|
||||
- 1주일 후 용량 확인 예정
|
||||
|
||||
3. **Discord 알림 spam**
|
||||
- 재시도 발생 시에만 알림
|
||||
- 정상 실행 시 조용함
|
||||
|
||||
4. **성능 영향**
|
||||
- 성공 시: <1ms 오버헤드
|
||||
- 재시도 시: backoff 대기 시간 (최대 1+2+4=7초)
|
||||
|
||||
## 성과
|
||||
|
||||
**Before**: 자가개선 시스템 V2.5/V3.3/V4.0 → 자기검토만 함 (읽기만)
|
||||
|
||||
**After**: Level 1 Auto-Retry → **실제로 Loop가 닫힘!**
|
||||
```
|
||||
Execute → API 실패 감지 → 자동 재시도 → 성공
|
||||
(사람 개입 없음)
|
||||
```
|
||||
|
||||
**핵심 발견**: AI 자가개선은 검증 가능한 결과(Exit code, HTTP status)가 있어야만 작동
|
||||
|
||||
## 다음 단계
|
||||
|
||||
### Level 2: 파라미터 자동 조정
|
||||
- 로그 분석 → 최적 설정 자동 제안
|
||||
- 예: "TQQQ는 평균 2회 재시도 → maxRetries=3 유지"
|
||||
- 예: "GitHub API는 재시도 불필요 → maxRetries=1로 축소"
|
||||
|
||||
### Level 3: AI 코드 수정
|
||||
- 반복 패턴 감지 → AI가 근본 원인 수정
|
||||
- 예: 특정 API 항상 느림 → timeout 증가
|
||||
|
||||
---
|
||||
|
||||
**상태**: ✅ 4개 cron 배포 완료
|
||||
**테스트**: ✅ 모두 통과
|
||||
**효과**: 예상 에러율 10% → 1% (90% 감소)
|
||||
**다음**: 1주일 모니터링 후 효과 분석
|
||||
Reference in New Issue
Block a user