LLM이 흐름을 잃지 않게 하는 5가지 팁

Source: Dev.to

이 게시물은 내 Learning Out Loud 영상 시리즈의 에피소드 2에서 각색한 것입니다. 만약 내가 처음 쓴 LLM 응답이 시간이 지남에 따라 왜 저하되는지라는 글을 놓쳤다면, 토큰, 컨텍스트 윈도우, 그리고 컨텍스트 제한에 대해 먼저 이해하기 위해 해당 글을 먼저 읽어보세요.

우리는 모두 그런 경험을 해봤습니다—LLM과 대화를 시작하면 훌륭한 답변을 얻지만, 30분쯤 지나면 마치 금붕어와 이야기하는 듯이 답변이 흐려집니다. 여기 대화를 처음부터 끝까지 생산적으로 유지하기 위해 제가 배운 다섯 가지 전략이 있습니다.

1. 프롬프트 전에 계획하기

시작하기 전에 간단한 요구사항 문서를 만들면 실제로 시간을 절약할 수 있습니다.

프로젝트 킥오프처럼 생각해 보세요:

• 무엇을 만들거나 해결하려고 하나요?
• 구체적인 요구사항이나 제약 조건이 있나요?
• 사용하고 싶거나 필요로 하는 도구가 있나요?
• 성공은 어떤 모습인가요?

화려할 필요는 없습니다—몇 개의 핵심 포인트만 적어두면 여러분과 LLM 모두 목표에 집중할 수 있습니다.

2. 프롬프트 구조화

LLM은 프롬프트가 한 덩어리 텍스트가 아닐 때 의도를 더 잘 파악합니다. 다음을 사용하세요:

• 서로 다른 섹션을 위한 헤더
• 목록을 위한 불릿 포인트
• 필요할 때 HTML 요소

이러한 이유로 저는 모든 프롬프트를 마크다운 파일로 작성합니다. 훌륭한 도구인 Obsidian을 확인해 보세요.

3. 새로운 주제는 새 대화 시작하기

모든 내용을 하나의 끝없는 채팅 스레드에 억지로 넣으려 하지 마세요. 대화를 집중된 세션으로 나누세요:

• 새로운 기능? 새 채팅을 시작하세요.
• 다른 문제? 새 채팅을 시작하세요.

Pro tip: 전략 #1의 요구사항 문서를 각 새로운 대화에 복사하거나 AI 어시스턴트의 저장된 컨텍스트에 저장하세요. 이렇게 하면 모든 세션이 프로젝트에 대한 동일한 컨텍스트로 시작됩니다.

4. 컨텍스트 사용량 주시하기

Many LLMs can show you how much of your context window you’re using. I use Amazon Kiro CLI daily, and an experimental feature displays your context percentage right in the terminal. Enable it once and you’ll never go back.

많은 LLM은 현재 사용 중인 컨텍스트 창의 양을 표시할 수 있습니다. 저는 매일 Amazon Kiro CLI를 사용하며, 실험적인 기능이 터미널에 컨텍스트 비율을 바로 표시해 줍니다. 한 번 활성화하면 다시는 돌아가지 않을 겁니다.

When you’re getting close to the limit:

제한에 가까워질 때:

• Ask the LLM to summarize what you’ve covered.

• Save the key points.

• Start a fresh session with that summary.

• 지금까지 다룬 내용을 LLM에게 요약해 달라고 요청하세요.

• 핵심 포인트를 저장하세요.

• 그 요약을 가지고 새 세션을 시작하세요.

5. 대화 체크포인트 사용

가끔씩 LLM에게 “내가 달성하려는 목표와 여전히 일치하고 있나요?” 라고 물어보세요.

응답이 이상하거나 주제와 벗어나기 시작하면, 새로운 세션을 시작할 신호입니다—빠른 스탠드업 체크인처럼 생각하세요.

보너스 기능: Amazon Kiro CLI가 최근에 추가한 기능은 전체 대화 기록에 대한 Git 버전 관리와 같은 것입니다.

무엇이 효과가 있나요?

이 다섯 가지 전략은 LLM을 활용한 일상 업무에 큰 변화를 가져왔습니다. 저는 항상 배우고 있기 때문에, 제가 언급하지 않은 여러분만의 기술이 있다면 알려주세요. 아래에 댓글을 남겨 주세요!

이 게시물은 제가 최근에 배운 내용을 공유하는 “Learning Out Loud” 시리즈의 일부입니다. 영상 버전을 보려면 LinkedIn에서 저를 팔로우하세요 .