AI 모델 AI 뉴스
- 오픈AI, 일상 업무 AI 평가 '라이프밸' 공개...개인 비서 성능 1년 새 49%→81%
오픈AI가 육아, 건강 관리, 금융, 쇼핑 같은 일상 업무를 AI가 얼마나 잘 수행하는지 평가하는 벤치마크 '라이프밸(LifeVal)'을 2일(현지시간) 공개했어요. 미국 및 다국가 시간 사용 조사 데이터와 3995명 대상 인구통계학적 설문조사를 바탕으로 만들어졌어요. 챗GPT를 개인 AI 비서로 발전시키기 위해 에이전트 역량의 개선 정도를 추적하려는 목적이며, 제목에 따르면 개인 비서 성능은 1년 새 49%에서 81%로 올랐어요.
- Which Deep Learner? A Systematic Evaluation of Advanced Deep Forecasting Models Accuracy and Efficiency for Network Traffic Prediction
네트워크 트래픽 예측에 쓰이는 딥러닝 시계열 예측 모델 12종(최신 TSF 모델 8종, 전통 딥러닝 구조 4종)을 통계 기반 기준선 3종과 함께 총 15가지 방법으로 비교한 연구예요. 실제 트래픽 데이터셋 4개를 대상으로 여러 시간 척도와 예측 구간에서 정확도, 이상치·데이터 결측·외부 요인에 대한 강건성, 데이터 효율성, 시간·메모리·에너지 효율을 평가했어요. 결과를 바탕으로 성능 구간과 효율 임계값, 정확도·효율·강건성의 균형이 좋은 구조에 대한 네트워크 관리 지침을 제시해요.
- PLANTEUR: A Crop-Type Segmentation Benchmark for Tropical Regions
PLANTEUR는 프랑스 해외 영토의 위성 영상으로 작물 유형을 분류하는 벤치마크예요. Sentinel-2, Sentinel-1, Landsat-8 시계열 데이터와 필지 기반 라벨을 6개 열대 지역, 8개 클래스로 제공해요. 표준 테스트 분할과 섬 단위 교차 일반화 평가 방식을 정의했고, 지도학습 모델, 선형 프로브, 파인튜닝한 파운데이션 모델을 평가했어요. 코드와 데이터는 GitHub와 Hugging Face에 공개돼요.
- CRONOS: Benchmarking Non-Episodic Reinforcement Learning for Robotic Manipulation
CRONOS는 장면을 자주 초기화하지 않는 비에피소딕 환경에서 시각-언어-행동(VLA) 모델을 강화학습으로 파인튜닝하는 시뮬레이션 벤치마크예요. 사전학습 정책을 그대로 파인튜닝하면 물체 배치와 엔드이펙터 자세가 달라져 실패하지만, 리셋을 목표에 맞게 배분하고 사전학습 모델의 편향을 보정하면 완화돼요. 비에피소딕 학습은 장기 조작 능력과 처음 보는 물체 배치 및 작업 순서에 대한 일반화도 높이는 것으로 나타났어요.
- Hybrid acoustic and pretrained embedding feature fusion for unmanned aerial vehicle detection using stacking ensemble learning under a leakage-aware evaluation protocol
공개 DroneAudioDataset(1초 클립 11,704개)에서 드론 소음 탐지 성능을 평가한 연구예요. 57개 수작업 음향 특징과 YAMNet 사전학습 임베딩을 Random Forest·XGBoost 스태킹 앙상블로 결합했고, 출처가 겹치지 않는 분할 방식에서 평균 정확도 95.29%, AUC 0.990을 기록했어요. 무작위 분할은 정확도를 1.89~3.22%p 과대평가했고, YAMNet 임베딩 추가로 정확도가 1.11%p 올랐으며 클립당 CPU 추론은 51.0ms가 걸렸어요.
- KeyWise: Efficient Video-Only Piano Transcription with a Lightweight Per-Key Architecture
KeyWise는 위에서 촬영한 영상만으로 피아노 연주를 악보 데이터로 옮기는 경량 구조예요. 건반을 88개 구역으로 나누고 모든 건반이 하나의 작은 순환 신경망을 공유하게 해요. PianoVAM에서 기존 최고 모델 V2N과 비슷하거나 더 높은 onset F1(50ms 기준 95.0% 대 94.7%)을 내면서 파라미터는 1.3M으로 28.2M보다 훨씬 적고 속도는 4.7배 빨라요. PianoYT에서는 별도 미세조정이 필요하지만, 사전학습만으로 100ms 기준 onset F1 69.4%를 기록했어요.
- ScrambleMark: Zero-Query Watermark-Agnostic Black-Box Evasion of Modern Speech Watermarking
ScrambleMark는 음성 워터마크를 지우지 않고, 워터마크 패턴의 구조적 일관성을 깨뜨려 탐지를 회피하는 공격 기법이에요. 탐지기 접근이나 쌍으로 된 음성 데이터 없이 하모닉 구조를 교란하는 제로 쿼리 블랙박스 방식이에요. Google SynthID, Resemble AI, TrustedAudio 세 상용 플랫폼에서 약 97%의 회피율과 4.2/5의 사람 평가 점수를 기록했고, 복구 시도에도 견뎠다고 해요.
- Do We Still Need Rotation-Invariant Architectures? A Statistical Robustness Benchmark for Point Cloud Classification
포인트 클라우드 분류에서 회전 불변 구조가 여전히 필요한지 검증하기 위해, PointNet, DGCNN, RIConv++ 등 10개 아키텍처를 5개 도메인에서 자세·노이즈·가림 조건으로 벤치마크했어요. 회전 불변 구조는 자세 강건성이 가장 높지만 5개 중 4개 도메인에서 노이즈 강건성은 최하위권이었어요. 임베딩에 단순한 불변성 손실을 더해 재학습하면 대상으로 한 왜곡 유형의 정확도가 오르고, 학습 예산이 같을 때 표준 백본과 회전 불변 구조의 성능 차이는 2.5%p 이내였어요. 벤치마크와 분석 패키지도 공개했어요.
- BEND 2.0: Benchmarking the Capabilities Needed to Design DNA
BEND 2.0은 DNA 언어모델이 DNA 변화의 효과를 얼마나 잘 예측하고, 그 예측으로 서열 설계를 이끌 수 있는지 평가하는 벤치마크예요. 5개 실험 데이터셋 기반의 8개 과제에서, 고정된 표현에 선형 readout을 적용하면 모델의 기본 출력과 같거나 더 좋은 성능을 보였고 기능 기반 후속 학습도 성능을 크게 높였어요. 다만 평균 효과 예측이 정확해도 맥락별 효과나 변이 간 상호작용 예측은 약했고, 설계 과제에서도 개선 여지가 크다고 밝혔어요.
- Ground-Wing: A Parametric 3D Wing-in-Ground-Effect Dataset for Benchmarking Neural Surrogate Models
지면효과 영역에서 작동하는 3D 윙의 CFD 데이터셋 Ground-Wing을 소개하는 논문이에요. 194개 윙 구성과 770개 RANS 시뮬레이션으로 이루어져 있고, 모터스포츠에서 쓰이는 형상과 유동 조건을 반영했어요. 합성곱, 그래프, 트랜스포머, JEPA 기반 신경망 6종이 표면 압력계수와 벽면 전단응력을 예측하는 성능을 평가했고, 이를 통해 항력과 양력 계수도 산출했어요.