전체 글108 REACT: Synergizing Reasoning and Acting in LMs (ICLR 2023, Citation 6020) Problem DefinitionLLM의 reasoning과 acting 능력이 별개로 연구되어 왔음. 둘을 교차(interleave)하여 시너지 극대화CoT reasoning is a static black box, in that the model uses its own internal representations to generate thoughts and is not grounded in the external world, which limits its ability to reason actively or update its knowledge. → lead to fact hallucination, error propagation REACT (Synergizing Reasoning + Acting.. 2025. 12. 23. xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token (NeurIPS 2024, Citation 85) TL;DRModality Projector를 이용해 검색된 문서를 1개의 token으로 압축하여 LLM의 representation space로 변환. 압축된 토큰을 원본 문서로 복원하도록 하는 1단게와 Instruction-Tuning 2단계 학습 수행 Problem Definition검색된 관련 문서를 프롬프트에 직접 포함하면 입력 길이가 급격히 늘어나 추론 비용이 증가하고 LLM의 context limit을 초과Dense Retriever는 이미 문서를 고차원 임베딩으로 잘 압축하고 있음임베딩을 텍스트로 복원하지 않고, VLM에서 이미지를 처리하는 것처럼 Retrieval Modality의 feature로 취급하여 LLM에 직접 주입 → 검색된 문서 전체를 단 1개의 토큰으로 대체 MethodxR.. 2025. 12. 23. LATTE: Learning to Think with Vision Specialists (EMNLP 2025 Oral) TL;DRLATTE-trace 데이터셋으로 모델을 fine-tuning해 모델이 vision specialist를 활용해 reasoning하도록 함. Problem DefinitionGPT-4o가 오픈소스 VLM보다 성능이 많이 좋음.이러한 성능 차이의 원인은 VLM들이 다양한 시각적 능력을 통합하기 어렵기 때문DepthAnything : 깊이 추정(depth estimation)GroundingDINO : 객체 인식(object recognition)에 초점을 맞춤 LATTE: Learning to Think with Vision Specialists learning to perceive and reasonGPT-4o를 이용해 LATTE-trace (multi-step reasoning trace.. 2025. 11. 17. COGCOM: A Visual Language Model With Chain-of-Manipulations Reasoning (ICLR 2025) TL;DRVLM이 complex problem을 잘 해결하도록 세밀한 visual reasoning을 하기 위해 CoM (Chain-of-Manipulation) Reasoning 데이터를 만들어 학습한 CogCoM 모델 제안 Problem DefinitionVLM은 visual input과 language response을 align하는 방식으로 학습되어 모델이 세밀한 visual reasoning을 수행하지 못하고, 정확하지 않은 응답을 생성사람은 시각적 세부 정보를 다룰 때 이미지를 marking하거나 processing하는 manipulation을 수행목표물을 찾을 때 참조 지점을 순차적으로 찾음(reference locating)세부 정보를 볼 때 해당 영역을 확대(zoom-in)VLM은 pr.. 2025. 10. 21. AdaptThink: Reasoning Models Can Learn When to Think TL;DRRL을 이용한 Constrained Optimization Objective와 Importance Sampling을 이용한 학습으로 모델이 Thinking, Non-Thinking을 결정 Problem Definition간단한 태스크의 경우에는 CoT 없이 정답을 바로 생성하는 것이 성능이 더 높음. (high computation overhead, low performance)Research Question : Can the reasoning model learn to select Thinking or No-Thinking mode adaptively based on the difficulty of the input problem, thereby achieving more efficient .. 2025. 10. 17. Vision-Language Models Can Self-Improve Reasoning via Reflection (NAACL 2025) TL;DRVLM에서 self-training 프레임워크 제안positive rationale과 negative rationale을 모두 이용해 Self-Select → Self-Refine → SFT 과정으로 Training. Test 시에도 여러 reasoning path 생성 후 self Problem Definition오픈소스 MLLM은 reasoning 과정에 시각적 단서들을 통합시키는데 어려움을 겪어 낮은 CoT 성능을 낸다.Research Question : can MLLMs self-improve the reasoning capabilities through bootstrapping on CoT samples? Vision-language Reasoning by Reflecting on .. 2025. 10. 17. 이전 1 2 3 4 ··· 18 다음