“`html

fir crawl을 통한 웹사이트 데이터 추출 및 활용

fir crawl은 모든 웹사이트의 데이터를 LLM이 사용할 수 있는 형태로 추출하는 데 사용할 수 있는 오픈소스 도구입니다. 이를 통해 OpenAI의 새로운 실시간 API 음성 도구와 연결하여 음성 AI의 강력한 기능을 활용하여 원하는 웹사이트에서 데이터를 추출할 수 있습니다.

fir crawl

fir crawl은 다양한 기능을 제공합니다.

• 크롤링
• 추출
• 매핑
• LLM 추출

다양한 통합 기능을 통해 다음과 같은 서비스와 연결할 수 있습니다.

• LangChang LLaMA
• Index Crew AI
• Diffly
• Flow Wise
• LangFlow
• Camel AI

OpenAI Real-time API

OpenAI의 새로운 실시간 API는 다음을 위한 엔드포인트를 제공합니다.

• 크롤링
• 데이터 검색
• 상태 검사
• 크롤링 취소
• 매핑

이 API를 사용하여 파이썬, 노드 SDK, REST와 같은 다양한 프로그래밍 언어와 연결할 수 있습니다.

통합 예제

여기 fir crawl을 OpenAI 실시간 API와 통합하는 방법에 대한 예제가 있습니다.

# fir crawl 설정

pip install fire-crawl

# OpenAI API 키 및 fir crawl 키 설정

export OPENAI_API_KEY="YOUR_OPENAI_API_KEY"
export FIRE_CRAWL_API_KEY="YOUR_FIRE_CRAWL_API_KEY"

# 웹사이트 URL 지정

WEBSITE_URL="https://example.com"

# fir crawl 실행

python firor_script.py --url $WEBSITE_URL

이 스크립트는 지정된 웹사이트에서 데이터를 추출하고 MarkDown 포맷의 파일에 저장합니다.