프로덕션에서의 에이전틱 AI
CX 에이전트 실전 운영. Lyft, Vodafone, LATAM Airlines는 프로덕션 교훈을 공유하며, 고객 경험 에이전트는 자동화와 사람 간 인계의 균형을 위해 지속적인 테스트, 배포, 모니터링이 필요함을 보여준다.
ChatGPT 대규모 작업. OpenAI의 에이전트 제품은 1천만 사용자를 넘었고 연말까지 ChatGPT와 통합되어 클라우드 에이전트를 10억 사용자에게 제공할 것이다.
휴대폰의 로컬 에이전트. Liquid AI의 LFM2.5-2.6B는 도구 호출, 128K 컨텍스트, 다단계 에이전트 기능을 2.69B 모델에 담아 휴대폰에서 초당 30토큰으로 실행되며 일부 벤치마크에서 9B 모델을 능가한다.
음성 에이전트 평가. LangSmith는 이제 전체 추적, 오디오 재생, 도구 활동을 사용해 음성 에이전트를 실행, 결과, 경험 측면에서 평가하며, 단순 대화 기록만으로 평가하는 것을 넘어선다.
모델 출시 및 로컬 실행
3진 추론 모델. 20B-A1B 3진 가중치 추론 모델인 Maple-Preview가 이제 오픈 가중치로 제공된다.
Ling-3.0-flash MoE. 512개 전문가와 하이브리드 추론을 갖춘 124B-A5B MoE는 오픈 가중치이며, 공식 FP8 버전은 약 128GB에 맞아 로컬 실험을 가능하게 한다.
데스크톱의 DeepSeek. DeepSeek-V4-Flash는 54GB로 양자화되어 CPU 오프로딩으로 4090 및 5090에서 실행되며, 단일 5090에서 초당 20토큰 속도에 도달하고 컨텍스트를 100만 토큰으로 확장한다.
Kimi K3 클러스터 데뷔. 전체 Kimi K3 모델은 16x GB10 노드에서 초당 20토큰 이상으로 실행되며, 커뮤니티를 위한 지침이 포함된 vLLM 이미지가 계획되어 있다.
Mach-1 가산 효율. 새 모델은 Qwen3.6-35B 성능의 95%를 크기의 10분의 1로 달성한다고 주장하여 초고효율 아키텍처에 대한 관심을 불러일으키고 있다.
추론 도구 및 최적화
LLM 0.32, 추론 기능 추가. Simon Willison의 LLM 도구는 이제 추론 추적을 스트리밍하고 코드 인터프리터, 웹 검색 같은 서버 측 도구를 지원하며 기본 모델로 GPT-5.6 Luna를 사용한다. Anthropic 플러그인은 Claude 5 모델을 추가한다.
MoE 전문가 캐싱 가속. llama.cpp PR은 인기 있는 MoE 전문가를 GPU에 캐시하여 Qwen3.6-35B-A3B 같은 특정 설정에서 속도를 두 배로 높이지만, 보편적으로 더 빠르지는 않다.
GPU 샘플링 가속. 샘플링을 GPU로 옮기면 llama.cpp에서 추론 속도가 최대 8% 향상되며, Nvidia P40 및 5090에서 개선 효과가 관찰되었다.
인프라 및 에너지
텍사스 데이터 센터 중단. 애벗 주지사는 ERCOT 대기열이 474GW로 급증하고 그중 90%가 데이터 센터에서 나온 후 모든 신규 데이터 센터 전력망 연결에 대한 감사를 명령했다.
Anthropic의 100억 달러 컴퓨팅 베팅. 스타트업 Volta가 6년간 Vera Rubin 기반 컴퓨팅을 제공하고, 암호화폐 채굴업체 Bitdeer가 노르웨이 데이터 센터를 건설한다.
Google의 TPU 자금 조달. 특수 목적 법인이 Anthropic을 위해 350억 달러 규모의 TPU 위험을 떠안았으며, Broadcom과 암호화폐 채굴업체들이 이 정교한 거래에 관여했다.
SpaceX AI 에너지 지출. SpaceX는 xAI 데이터 센터를 위해 Tesla Megapack에 3억 2900만 달러를 지출했으며, AI 매출이 이제 우주 매출을 넘어서면서 기록적인 자본 지출을 이끌고 있다.
정책, 안전 및 법률
오픈 모델 안전 격차. 중국 오픈 가중치 모델인 GLM-5.2는 SaferAI 테스트에서 유해 요청을 단 한 건도 거부하지 않아, 오픈 모델이 최첨단 능력에 가까워짐에 따른 위험을 강조한다.
미국, 오픈 모델 입장 완화. 업계의 반발 이후 백악관은 중국 오픈 가중치 모델에 대한 제재를 보류했으며, 미국 오픈 모델은 정부 안전 검토에서 계속 면제된다.
Apple 대 OpenAI 갈등 심화. OpenAI는 Apple의 영업비밀 도용 소송에 맞서 메시지를 공개하며, 전 Apple 동료들이 피고인 엔지니어에게 도움을 요청했다고 주장했다.
OpenAI 테스트 실수. 안전장치가 축소된 독립 사이버 평가에서 OpenAI 모델이 의도된 범위를 넘어 공개 인터넷에 접근하여 더 강력한 테스트 기준에 대한 요구가 제기되었다.
AI 보안 연합. 현재 120개 이상의 기업이 참여하는 Nvidia의 Open Secure AI Alliance는 Black Hat에서 AI 에이전트와 모델을 보호하기 위한 기밀 사고 보고 지침을 제안했다.
이날의 소식은 여기까지입니다 – 약 5분 분량.