LLM은 전문성을 보상함

LLM 덕분에 누구나 여러 분야에서 준수한 결과를 만들 수 있지만, 같은 모델에서 더 큰 가치를 끌어내는 핵심은 프롬프트 기법보다 도메인 전문성임 Terence Tao는 Jacobian Conjecture의 반례를 ChatGPT와 논의하며 짧고 핵심적인 질문, 간접적인 반박, 독자적인 도약과 대안으로 대화를 주도함 이 방식을 형식만 따라 해서는 같은 결과를 얻기 어려우며, 긴 답변에서 관련 아이디어를 추출하고 이상한 부분을 판별하는 수학적 이해가 필요함 코드베이스에 익숙한 개발자 역시 “더 단순하게 할 수 있지 않은가”, “이미 X를 하고 있지 않은가”처럼 구체적으로 방향을 교정해 LLM을 더 강하게 활용할 수 있음 모델이 강해져도 원하는 해법을 정확히 전달하고 내부 지식을 끌어내는 과정에서는 인간의 판단과 소통 능력이 병목으로 남으므로 전문성의 효용은 계속 유지됨 전문성이 LLM 대화를 바꾸는 방식 LLM 이전에는 CSS 같은 기술적 공백을 숙련된 동료나 정확히 맞는 인터넷 답변으로 메워야 했지만, 이제는 작업을 위임해 어느 정도 괜찮은 결과를 얻을 수 있어 누구나 제너럴리스트가 될 수 있음 같은 모델을 쓰면 숙련된 프롬프트 사용자와 초보자가 비슷한 결과를 얻는다는 인식이 있지만, 가장 중요한 프롬프트 역량은 요청 분야에 대한 전문성임 Terence Tao의 ChatGPT 대화는 최근 발견된 Jacobian Conjecture 반례를 다룸 메시지는 짧고 직접적이며, 모델의 답변을 항목별로 반박하기보다 요지에만 대응함 전문성을 바탕으로 모델이 초보자에게 설명하는 방식이 아니라 수학자와 대화하듯 간결하게 답하도록 유도함 답이 잘못돼 보일 때 직접 모순을 선언하기보다 “기대했던 것보다 복잡해 보인다”는 식으로 재검토를 이끎 스스로 여러 도약과 대안을 만들며 모델이 제안한 다음 진행 방향은 거의 따르지 않음 Tao의 대화 형식만 흉내 내서는 같은 결과에 도달할 수 없음 ChatGPT의 여러 문단에서 관련 아이디어를 골라내고, 다른 접근법이나 정식화를 제안하며, 이상한 부분을 판별하려면 실제 수학 지식이 필요함 코드베이스 이해가 만드는 차이 코드베이스에 관한 탄탄한 내부 이론이 있으면 익숙하지 않은 상태보다 LLM을 훨씬 강하게 밀어붙일 수 있음 좋은 해법의 형태를 스스로 예상할 수 있어 “여기는 더 단순할 수 있다”, “이미 X를 하고 있지 않은가”, “익숙한 용어로 문제를 표현할 수 있는가”처럼 방향을 교정할 수 ...