클로드 분석의 단편성
요즘 어느 회사나 그렇겠지만 분석에 비용은 상당히 낮아졌다. 특히 서비스에 데이터가 잘 축적 되는 파이프라인만 있다며, 그거에 클로드에 연결이 돼서 분석 시키는 거는 어려운 일이 아니다.그래서 그런가 다른 문제가 보이기 시작했다. 바로 근시안적 분석
클로드를 많이 써 봤다면 알 수 있을텐데 클로드가 가장 못 하는 일 중 하나는 바로 시간 순으로 정렬 하는 거 그리고 시간순으로 변화에 대해서 찾아내는 것이다. 데이터의 타임라인이 명확하게 찍혀 있는 데이터를 정말 많이 한꺼번에 보낸 게 아닌 이상 대부분 뭐 하루치 아니면은 현재 상황을 기준으로 뭔가 문제점을 분석 하려고 하며 단편적인 얘기를 하거나 기존에 데이터의 흐름에 대해서 보지 않은 채 단편적인 의견이나 제안을 하게 된다. 예를들어 이 커머스는 일주일간 주말과 평일에 거래량의 차이 나거나 시간대별로 달라지는 그런 패턴이 보이는데 만약에 매일매일 어제 하고만 비교를 한다면문제가 되게 많은 분석을 하게 된다. 그리고 어쩌면은 벤치마크 라고 하는 평균적인 수치에 대해서 근거를 찾기가 쉽지 않기 때문에 높은지 낮은지 어떤 수치에 대한 감각도 클로드가 그때그때 다르게 해석 하기도 한다.
또 하나의 문제는 과장된 해석을 하기도 한다는 점이다. 꼭 비단 데이터 얘기나 아니면 업무에 관한 얘기 뿐만이 아니라 조금만 힘들거나 지치는 포인트가 나오면은 번아웃이라 하고 해석하거나 아니면 다른 사람과의 어떤 의견을 맞춰 지내는 부분에 대해서 상의를 하며 정치적으로 완벽하게 이슈 제기를 하는 그런 얘기들을 하기도 한다. 인간이 아니기에 애매한 선을 지키며 함께 지내고 같이 풀어 나가는 부분에 대해서 그리고 어려운 점을 이겨낼 수 있는 부분에 대해서이해도가 떨어진다. 누구와 이견이 있다 라고 하면 당장에 따질 문장을 써주겠다고 하기도 한다. 하지만 그건 올바른 해결바카라이 아니다. 따지지 않고도 이겨내는 방법을 찾아 내는 게 더 중요 하기도 한데 그 부분을 클로드는 정확히는 모르기 때문이다.
그렇다면 이렇게 일희일비 하지 않기 위해서 무엇을 해야 할까? 분석의 기간을 늘려서 단위를 패턴화시킬 수 있어야 되고 이에 대한 어떤 지식 베이스를 축적 해서 매번 분석 할 때마다 날거으로 분석 하는 걸 막아야 한다. 결국은 이것도 어떤 작은 레벨에 하네스 엔지니어링이라고 할 수 있다.
이러한 지식 베이스를 데이터 하는 방식을 위해서 팀 차원에서 공통 지식을 저장하는 옵시디언 데이터를 만들고 이를 AI에서 바로 참조 할 수 있도록 연결시키기도 한다. 이것도 만병통치약은 아닌 게 가이드라인이나 프롬프트가 길수록 도리어 결과물이 안 좋은 경우도 많다. 텍스트로 된 프롬프트보다 옵시디언의 자동으로 재정리 되어 있는 MD 파일이 훨씬 더 하넌 엔지니어링이나 지식 체계로 정리하기 쉽다는 얘기다.
이제 많은 사람들이 정말로 실제 업무에서 AI를 뗄리아 뗄 수 없는 도구로 사용하고 있다. 그렇기 때문에 빈도가 잦고 작은 변화에 대하 과도한 분석, AI에 연결 할 수 없는 지식 정보에 쌓여 있는 것들을 무시한 단편적 생각 지나갈 수 있을 법한. 이야기에 대해 지나친 해석, 이런 것들이 계속해서 발생할 수 있는 상황이다.