bigset - 세상의 모든 데이터를 가지고 있다면?

2 hours ago 1

자연어 한 문장으로 라이브 웹에서 구조화된 데이터셋을 생성하고, 설정한 주기마다 자동 갱신하는 오픈소스 도구
- 예: "현재 엔지니어를 채용 중인 YC 기업 목록과 투자 단계, 위치, 공개 채용 수"
입력 문장에서 스키마를 자동 추론 - 컬럼명, 타입, 기본 키, 웹에서 찾을 위치까지 결정
자율 에이전트가 라이브 웹을 조사하고, 실제 출처와 대조 검증 후 중복 제거해 표로 반환
- 오케스트레이터 에이전트가 엔티티를 발견하면, 서브 에이전트가 병렬로 분산되어 각 엔티티를 조사·검증
결과물은 CSV / XLSX로 다운로드, UI에서 탐색 가능
갱신 주기(30분, 6시간, 12시간, 일간, 주간) 설정 시 에이전트가 일정대로 재실행되어 데이터셋을 계속 갱신
사람이든 AI 에이전트든 웹과의 모든 상호작용은 결국 데이터로 귀결됨 (가격, 기업, 채용, 연구, 가용성, 재고 등)
- 이 데이터는 여러 페이지에 흩어져있고, 기존 스크래핑/검색 API/LeadGen 도구가 해주지 못하는 카테고리 교차 데이터 수집 을 처리해 줌
  — 검색/추출/스키마 설계/중복 제거/검증/크론 작업을 매번 직접하거나 통합 작업을 할 필요 없음
터미널 CLI로도 데이터셋 생성·내보내기 가능
- bigset create "..." --rows 30 --wait --csv
단, 아직 실험단계로 스키마 추론이 항상 완벽하지는 않음. 공개 데이터에만 적합
기술 스택
- 프론트엔드: Next.js 16, React 19, Tailwind 4
- 백엔드: Fastify, TypeScript (에이전트 러너)
- 인증: 로컬 인증(개발), Clerk(클라우드)
- 데이터베이스: Convex(self-hosted)
- 데이터 수집: TinyFish API(Search, Fetch, Browser)
- AI 오케스트레이션: Mastra 워크플로 + Vercel AI SDK + OpenRouter → Claude Sonnet(스키마 추론 + populate 에이전트)
- 테이블 뷰: TanStack Table + react-window 가상화
- 내보내기: CSV(내장) + XLSX(SheetJS, 동적 임포트)
- 분석: PostHog — 이벤트, 세션 리플레이, 오류 추적(선택)
AGPL-3.0 라이선스

Read Entire Article

bigset - 세상의 모든 데이터를 가지고 있다면?

Related

노이즈 병목: 더 많은 정보라는 미묘한 함정

Show GN: 디지털 액자 관리를 위한 홈어시스턴트 애드온

6. 도구를 넘어, 기준과 책임으로

총 용량 1EB 초과! 서로 역사가 다른 두 HDFS를 어떻게 연결할까? 데이터 플랫폼 연계 중 직면한 과제...

5. Technical Writer, 사라질 결심

프롬프트 튜닝을 수작업에서 AI 튜닝으로: 유전 알고리즘 기반 자동 최적화와 고속화

디지털 액자 관리를 위한 홈어시스턴트 애드온

덴마크 개인정보보호 활동가 Lars Andersen, 경찰 압수수색 당해

Tips

Popular

SAP Business Data Cloud: Top New Features | SAP Sapphire 202...

Python for SAP Developers: Why Learn Python and How to Get S...

How SAP Helps Boost Grupo UMA’s Motorcycle Production Across...

How to Choose the Right SAP SuccessFactors Implementation Pa...

Cirque du Soleil soar into the future with SAP Business AI

SAP Opens Data Center in India, Underscoring Expertise in Da...

MSI 티켓 위한 마지막 승부…원주에서 LCK 대표 두 팀 가린다

[G-브리핑] 컴투스, 임직원 참여형 ESG 플로깅 활동

안선영, '시험 1분 지각' 후 주관사 저격했다가 사과…"경솔했다, 전적으로 제 잘못"

'하트시그널5' 사생활 의혹 출연자 본방송 등장…제작진 "사실관계 확인 중"