· ai
[Paper] Auto-Encoders를 이용한 Mamba의 선택적 메모리 특성화
State space models (SSMs)는 고정된 메모리를 사용해 추론하기 때문에 언어 모델링에서 transformer에 대한 유망한 대안으로 주목받고 있습니다. 그러나 이 고정…
-
- · ai
[Paper] VTCBench: Vision‑Language 모델은 Vision‑Text Compression을 통해 긴 컨텍스트를 이해할 수 있을까?
LLM의 컨텍스트 윈도우를 확장하는 데 따른 계산 및 메모리 오버헤드는 확장성을 크게 제한합니다. 주목할 만한 해결책은 vision-te...
- · ai
[Paper] 얼마나 많이가 너무 많은가? 지식 유지와 도메인 견고성을 위한 LoRA Rank 트레이드오프 탐색
대규모 언어 모델은 점점 더 파인튜닝을 통해 다운스트림 작업에 적용되고 있다. 전체 감독 파인튜닝(Full supervised fine-tuning, SFT)과 파라미터 효율 파인튜닝(parameter‑efficient fine‑tuning, P…
- · ai
[Paper] LLM-as-Judges를 활용한 안전성 메트릭 평가
LLMs(대형 언어 모델)은 다양한 입력 및 생성 작업에 지능적으로 대응하기 위해 텍스트 처리 파이프라인에서 점점 더 많이 사용되고 있습니다. 이는 …
- · ai
[Paper] Artificial Intrinsic Plasticity Neurons에서 인간과 유사한 작업 기억
working memory는 brain이 transient information을 통합하여 rapid decision-making을 가능하게 합니다. Artificial networks는 일반적으로 이를 recurrent 또는 par... 방식으로 복제합니다.
- · ai
[Paper] 사람을 절대 알 수 없고, 그들의 방어기제만 알 수 있다: 지지 대화에서 심리적 방어기제 수준 감지
Psychological defenses는 사람들이 고통을 관리하기 위해 사용하는, 종종 자동적인 전략이다. 방어의 경직성이나 과다 사용은 정신 건강에 부정적인 영향을 미친다…
- · devops
[Paper] 현대 GPU 아키텍처를 위한 Bloom Filters 최적화
Bloom filters는 근사 멤버십 쿼리를 위한 기본적인 데이터 구조이며, 데이터 분석부터 데이터베이스 및 유전체학에 이르기까지 다양한 응용 분야가 있습니다. Seve...
- · ai
[Paper] Bolmo: 다음 세대 언어 모델의 Byteizing
우리는 Bolmo를 소개합니다. 이는 1B와 7B 파라미터 규모에서 경쟁력 있는 완전 오픈 바이트‑레벨 언어 모델(LM) 최초의 패밀리입니다. 기존 연구와는 달리…
- · software
[Paper] WuppieFuzz: 커버리지 기반, 상태 유지 REST API 퍼징
많은 비즈니스 프로세스가 현재 웹 서비스에 의존하고 있으며, 종종 통신에 REST API를 사용합니다. REST API는 엔드포인트를 통해 웹 서비스 기능을 노출합니다,…
- · ai
[Paper] 의미적으로 동등한 코드 변환이 코드용 LLM의 멤버십 추론에 어떤 영향을 미치는가?
코드용 대형 언어 모델의 성공은 GitHub와 같은 공개 오픈소스 저장소를 포함한 방대한 코드 데이터와 개인적인, ...
- · ai
[Paper] 생성 모델이 작성한 코드 리뷰의 관련성 평가에 관하여
ChatGPT와 같은 대형 언어 모델을 코드 리뷰에 활용하면 효율성 향상이 기대되지만, 정확성 및 안전성에 대한 우려도 제기됩니다. 기존 e...
- · software
[Paper] 컨테이너 기반 접근 방식으로 능동적인 Asset Administration Shell 디지털 트윈
제조업에서 디지털 트윈은 Asset Administration Shells (AAS) 형태로 구현되어 널리 활용되고 있습니다. 이러한 디지털 복제물은 종종 ...