내 프로젝트를
내 말로 설명하기

AI 추론 실험의 조건을 정하고, GPU 준비부터 측정·결과 보관·장비 정리까지 이어 주는 개인용 서비스입니다. 여기서 추론은 이미 만들어진 모델이 입력에 대한 출력을 계산하는 일입니다. 학습 플랫폼이나 다중 사용자 운영 실적이라고 소개하지 않습니다.

React 화면은 요청 조건을 보여 주고 사용자 조작을 받습니다. Python 백엔드는 조건을 검증하고 작업과 결과를 관리합니다. 화면에서 버튼을 숨기는 것만으로 잘못된 실행을 막을 수 없으므로 서버도 조건을 검사해야 합니다.

역할이 다릅니다. 서비스 API는 실험을 접수하고 상태를 알려 줍니다. 모델 서버는 GPU에서 모델을 실행해 응답을 만듭니다. API에 접속할 수 있다는 사실만으로 GPU 준비나 추론 성공이 확인되지는 않습니다.

worker는 오래 걸리는 준비와 실행을 담당합니다. reaper는 남은 장비와 작업을 살피는 독립 정리 프로세스입니다. 실행 담당자가 중단되더라도 장비 정리를 다시 시도할 수 있어야 하기 때문입니다. 분리했다고 삭제 성공이 자동 보장되는 것은 아니며 확인 근거가 필요합니다.

아닙니다. local fake는 가짜 응답으로 입력·실행·결과 표시 흐름을 확인합니다. 합성 요청을 만들거나 설정 파일을 내보내는 일도 추론 측정이 아닙니다. 실제 모델과 장비가 응답한 결과인지 출처부터 확인해야 합니다.

서버가 실행 요청을 받아들였다는 응답은 접수 성공입니다. 이후 모델 준비나 추론에서 실패할 수 있습니다. HTTP 응답만 보지 말고 작업 상태와 저장 결과, 오류를 따로 확인해야 합니다.

사용자가 한 요청의 응답을 기다리는 동안 모든 작업을 붙잡아 두지 않는 방식입니다. GPU 준비는 오래 걸릴 수 있어 서버 작업을 접수한 뒤 화면은 진행 상태를 조회합니다. 비동기 자체가 GPU 계산을 빠르게 만드는 것은 아닙니다.

화면이 서버에 일정 간격으로 지금 상태를 묻는 방식입니다. 진행 화면의 내용은 서버에서 받은 상태를 바탕으로 바뀝니다. 한 번 조회에 실패한 것과 실제 작업이 실패한 것은 구분해야 합니다.

브라우저의 일시적인 기억은 사라질 수 있습니다. 실행 당시 서버에 저장한 조건을 다시 읽어야 어떤 장비와 모델을 사용했는지 복원할 수 있습니다. 현재 재고 목록으로 과거 장비를 추측하면 기록이 달라질 수 있습니다.

필드 이름, 값의 종류, 값이 없을 때의 의미부터 봅니다. 숫자 0과 알 수 없음은 다릅니다. 결과가 없다는 것이 오류 0건이나 비용 0원을 뜻하지 않습니다. 예제 데이터를 읽을 때도 측정값인지 상태 정보인지 먼저 구분하세요.

취소 요청 접수와 외부 장비 삭제는 별개입니다. 서버가 취소를 받아도 정리에 시간이 걸리거나 삭제 확인이 실패할 수 있습니다. 삭제 완료 근거 전에는 비용 발생 가능성을 남겨야 합니다.

첫 요청으로 장비가 만들어졌지만 응답만 사라졌을 수 있습니다. 곧바로 재요청하면 중복 대여가 생길 수 있습니다. 이 프로젝트는 생성 결과 미확정 상태를 남기고 별도 감시와 제한된 복구 절차로 다룹니다.

없습니다. 현재 조회는 현재 상태의 근거입니다. 과거에 잠시 생성되었다가 삭제되었는지와 실제 청구 내역은 별도 확인이 필요합니다. “현재 없음”을 “과거 생성 실패”나 “청구액 0원”으로 바꾸면 안 됩니다.

마지막으로 확인한 상태와 최신 조회가 실패했다는 사실을 함께 알려야 합니다. 화면 연결이 끊겼다고 GPU도 멈췄다고 표시하면 안 됩니다. 다시 조회할 방법과 정리·과금 상태가 아직 불확실하다는 안내가 필요합니다.

자동 테스트는 정해진 조건의 동작을 확인합니다. 모의 브라우저 검증은 실제 유료 장비 취소·삭제와 다릅니다. 이 프로젝트도 취소 접수 복원과 오류 안내의 모의 검증, 실제 유료 취소, 첫 사용자 이해도 확인을 구분합니다.

모델이 문장을 처리하는 작은 단위입니다. 한 글자나 한 단어와 항상 일치하지 않고 토크나이저에 따라 달라집니다. 입력 토큰 수와 실제 생성된 출력 토큰 수를 구별해야 합니다. 출력 제한 64는 반드시 64개가 생성됐다는 뜻이 아닙니다.

TTFT는 요청 후 첫 토큰이 오기까지의 시간입니다. 전체 지연은 응답 완료까지의 시간입니다. 첫 글자가 빨리 보여도 이후 생성이 느리면 완료는 늦을 수 있습니다. 측정 시작·종료 기준과 단위도 확인해야 합니다.

동시성은 동시에 처리 중인 요청 수이고, 처리량은 일정 시간 동안 처리한 양입니다. 요청을 더 많이 겹치면 처리량이 늘 수도 있지만 대기 시간이 길어지거나 오류가 생길 수 있습니다. 높은 동시성이 항상 좋은 설정은 아닙니다.

p95는 지연 시간을 순서대로 놓았을 때 약 95%가 그 값 이하인 지점을 나타냅니다. 평균에 가려진 느린 요청을 보는 데 씁니다. SLO는 허용 지연 같은 목표 조건입니다. 작은 표본의 p95는 흔들리기 쉬우므로 표본 수와 계산 기준을 함께 봅니다.

아닙니다. 2026년 10월 4일의 실제 GPU 실행은 정해진 조건에서 16개 요청의 SLO 충족과 오류 0건, 결과 저장·자동 삭제 흐름을 확인한 사례입니다. 답변의 정확성이나 모든 부하에서의 안정성을 증명하지 않습니다. 실제 청구 총액도 별도 확인 대상입니다.

공유 prefix는 요청 앞부분의 같은 토큰 구간입니다. 이를 만드는 것은 캐시를 시험할 입력을 준비하는 일입니다. 실제 서버 설정과 캐시 사용 여부, 비교 조건을 확인해야 효과를 말할 수 있습니다. 준비된 토큰의 일치만으로 캐시 적중이나 성능 향상을 단정하지 않습니다.

정책은 허용된 다음 동시성이나 중단을 고르고, 도구는 정해진 실행 계약에 따라 측정합니다. OpenAI 정책이 직접 GPU를 대여하는 구조는 아닙니다. 정책이 요청했다고 모든 조건을 받아들이지 않습니다. 서버가 지원 여부와 예산을 검사해야 하며, 지원하지 않는 도착 간격이나 prefix 요구를 조용히 버려서는 안 됩니다.

측정을 적게 하는 효과가 AI 때문인지, 단순한 탐색 규칙만으로도 가능한지 구별하기 위해서입니다. AI 결과만 보면 측정 제한 자체의 효과를 AI의 성과로 오해할 수 있습니다. 같은 제약의 대조군이 필요합니다.

같은 RTX 4090·모델 서버에서 규칙과 OpenAI 정책을 각각 3세션 실행했습니다. 세션마다 정책 측정 3건과 전수 참조 측정 6건이 있어 정책 18건 + 참조 36건 = 총 54건입니다. 54개의 독립된 서버나 54세션을 뜻하지 않습니다.

입증하지 못했습니다. 두 정책 모두 전수 6회 대신 3회 측정했습니다. GPU 준비·대기 시간과 API 비용 등이 있고, 검증용 참조 측정도 수행했습니다. 실제 청구액을 확인하지 않았으므로 측정 횟수 감소를 시간·청구액 감소로 바꿔 말할 수 없습니다.

참조 최댓값 선택은 규칙 0/3, OpenAI 2/3이었지만 참조에서 실패한 조건 선택은 각각 1/3이었습니다. 작은 표본, 고정 순서, 공유 서버, 세션 간 경계 변동이 있어 일반적 우위는 판단할 수 없습니다. 관측 결과와 일반적인 결론을 분리해야 합니다.

먼저 세션마다 달라진 성공·실패 경계를 다시 확인하는 일이 필요합니다. 이후 모델과 GPU를 하나씩 확대하고, RNGD·Warboy 같은 NPU는 접근성과 지원 조건을 확인한 뒤 비교합니다. 현재 GPU 실측을 NPU 성능 근거로 소개하지 않습니다.