임베딩

class DocumentModelClass extends BaseModel {
  @api({ httpMethod: 'POST' })
  async search(query: string) {
    // 키워드 검색
    const results = await this.findMany({
      wq: [
        ['title', 'LIKE', `%${query}%`],
        ['content', 'LIKE', `%${query}%`],
      ],
    });
    return results;
  }
}

// 1. 문서 저장 시: 텍스트 → 임베딩 → DB
await DocumentModel.saveOne({
  title: "Sonamu 시작하기",
  content: "...",
  embedding: [0.2, 0.8, -0.3, ...],  // 1024개
});

// 2. 검색 시: 쿼리 → 임베딩 → 유사도 계산
const queryEmbedding = [0.3, 0.7, -0.2, ...];
const results = await searchSimilar(queryEmbedding);

import { Embedding } from "sonamu/vector";

// 단일 텍스트 임베딩
const result = await Embedding.embedOne(
  "Sonamu는 TypeScript 프레임워크입니다",
  'voyage'  // 'voyage' | 'openai'
);

console.log(result.embedding);  // [0.123, -0.456, ...] (1024개)
console.log(result.model);      // "voyage-3"
console.log(result.tokenCount); // 8

pnpm add voyageai
# 또는
pnpm add @ai-sdk/openai

# Voyage AI (권장)
VOYAGE_API_KEY=pa-...

# OpenAI (대안)
OPENAI_API_KEY=sk-...

import { BaseModel, api } from "sonamu";
import { Embedding } from "sonamu/vector";

class DocumentModelClass extends BaseModel {
  @api({ httpMethod: 'POST' })
  async createDocument(title: string, content: string) {
    // 1. 임베딩 생성
    const result = await Embedding.embedOne(
      `${title}\n\n${content}`,
      'voyage',
      'document'  // 문서용 임베딩
    );
    
    // 2. DB에 저장 (Sonamu의 saveOne)
    const doc = await this.saveOne({
      title,
      content,
      embedding: result.embedding,  // 1024개 숫자 배열
      token_count: result.tokenCount,
    });
    
    return doc;
  }
}

@api({ httpMethod: 'POST' })
async search(query: string) {
  // 1. 쿼리 임베딩 생성
  const result = await Embedding.embedOne(
    query,
    'voyage',
    'query'  // 검색용 임베딩
  );
  
  // 2. 벡터 검색 (vector-search.mdx 참고)
  const results = await this.getPuri().raw(`
    SELECT title, content,
      1 - (embedding <=> ?) AS similarity
    FROM documents
    WHERE embedding IS NOT NULL
    ORDER BY similarity DESC
    LIMIT 10
  `, [JSON.stringify(result.embedding)]);
  
  return results.rows;
}

// 문서 저장 시: document
const docEmbedding = await Embedding.embedOne(
  "Sonamu는 TypeScript 풀스택 프레임워크입니다. API, DB, 인증 등을 제공합니다.",
  'voyage',
  'document'  // 문서용
);

// 검색 시: query
const queryEmbedding = await Embedding.embedOne(
  "TypeScript 프레임워크",
  'voyage',
  'query'  // 검색용
);

// OpenAI는 inputType이 무시됨
await Embedding.embedOne(text, 'openai', 'document');  // 'document' 무시

@api({ httpMethod: 'POST' })
async batchCreateDocuments(documents: Array<{
  title: string;
  content: string;
}>) {
  // 1. 텍스트 배열 준비
  const texts = documents.map(doc => 
    `${doc.title}\n\n${doc.content}`
  );
  
  // 2. 배치 임베딩 (자동으로 128개씩 분할)
  const embeddings = await Embedding.embed(
    texts,
    'voyage',
    'document'
  );
  
  // 3. DB에 저장
  const savedDocs = await Promise.all(
    documents.map((doc, i) => 
      this.saveOne({
        title: doc.title,
        content: doc.content,
        embedding: embeddings[i].embedding,
        token_count: embeddings[i].tokenCount,
      })
    )
  );
  
  return savedDocs;
}

@api({ httpMethod: 'POST' })
async importDocuments(files: string[]) {
  const texts = files.map(f => readFile(f));
  
  const embeddings = await Embedding.embed(
    texts,
    'voyage',
    'document',
    (processed, total) => {
      const percent = Math.round((processed / total) * 100);
      console.log(`Progress: ${processed}/${total} (${percent}%)`);
    }
  );
  
  // Progress: 128/1000 (13%)
  // Progress: 256/1000 (26%)
  // ...
  // Progress: 1000/1000 (100%)
}

class KnowledgeBaseModelClass extends BaseModel {
  @upload({ mode: 'single' })
  @api({ httpMethod: 'POST' })
  async uploadDocument() {
    const { file } = Sonamu.getUploadContext();
    
    // 파일 읽기
    const content = await file.toBuffer().then(b => b.toString());
    
    // 임베딩 생성
    const embedding = await Embedding.embedOne(
      content,
      'voyage',
      'document'
    );
    
    // 저장
    return await this.saveOne({
      title: file.filename,
      content,
      embedding: embedding.embedding,
    });
  }
}

@api({ httpMethod: 'POST' })
async searchSimilar(query: string) {
  // 쿼리 임베딩
  const embedding = await Embedding.embedOne(query, 'voyage', 'query');
  
  // 유사 문서 검색
  const results = await this.getPuri().raw(`
    SELECT id, title, content,
      1 - (embedding <=> ?) AS similarity
    FROM knowledge_base
    WHERE embedding IS NOT NULL
    ORDER BY similarity DESC
    LIMIT 5
  `, [JSON.stringify(embedding.embedding)]);
  
  return results.rows;
}

POST /api/knowledge-base/search
{ "query": "환불 정책이 궁금해요" }

→ 유사 문서 5개 반환:
1. "환불 및 교환 안내" (similarity: 0.89)
2. "구매 취소 방법" (similarity: 0.82)
3. "결제 수단별 환불 기간" (similarity: 0.78)
...

@api({ httpMethod: 'POST' })
async createDocument(title: string, content: string) {
  try {
    const embedding = await Embedding.embedOne(
      `${title}\n\n${content}`,
      'voyage',
      'document'
    );
    
    return await this.saveOne({
      title,
      content,
      embedding: embedding.embedding,
    });
  } catch (error) {
    if (error.message.includes('API_KEY')) {
      throw new Error('Voyage API 키를 설정하세요: VOYAGE_API_KEY');
    } else if (error.message.includes('token')) {
      throw new Error('텍스트가 너무 깁니다 (최대 32,000 토큰)');
    } else {
      throw new Error(`임베딩 생성 실패: ${error.message}`);
    }
  }
}

const result = await Embedding.embedOne(
  "Sonamu는 TypeScript 풀스택 프레임워크입니다",
  'voyage'
);

console.log(`Tokens: ${result.tokenCount}`);  // 12

// 1000개 문서, 평균 500토큰
// = 500,000 토큰
// = $0.065

// 1000개 문서, 평균 500토큰
// = 500,000 토큰
// = $0.01

const cache = new Map<string, number[]>();

async function getCachedEmbedding(text: string) {
  if (cache.has(text)) {
    return cache.get(text)!;
  }
  
  const result = await Embedding.embedOne(text, 'voyage');
  cache.set(text, result.embedding);
  return result.embedding;
}

// 같은 텍스트는 한 번만 임베딩
const uniqueTexts = [...new Set(texts)];
const embeddings = await Embedding.embed(uniqueTexts, 'voyage');