

<img src="/assets/img/2024-08-26-TheTroublePlugininNeovim_0.png" />

저는 한동안 Neovim에서 trouble.nvim 플러그인을 사용해왔는데, 개발 경험을 정말 향상시켜 주었습니다. 저는 대부분 Typescript로 작업을 하고 있는데, 그에 따라 하루 중에 많은 유형 오류를 만나게 됩니다.

큰 코드베이스에서 작업할 때 중요한 부분 중 하나는 업데이트해야 할 올바른 파일을 찾고, 그 파일에서 수정해야 할 올바른 코드를 찾는 것입니다. 여기서 Trouble이 필요한 것입니다. 현재 오류나 경고의 목록을 편리하게 제공하며, 빠르게 찾을 수 있도록 도와줍니다.

## Trouble과 함께하기

<div class="content-ad"></div>

파일에서 경고 또는 오류가 발생한 경우, 최신 버전에서는 환경 설정에 따라 변경 가능한 Trouble 창을 열 수 있습니다. 이 창에는 해당 파일(또는 Neovim에서 열린 모든 파일)에 있는 모든 오류/경고가 나열됩니다.

이 목록을 통해 특정 항목을 선택하면 그 코드의 특정 줄로 이동할 수 있습니다. 이렇게 하면 오류/경고가 있는 위치로 빠르고 쉽게 이동하여 한 번에 하나씩 수정할 수 있습니다.

## Trouble 설정하기

Trouble GitHub 페이지에는 Trouble 플러그인을 설정하고 구성하는 방법에 대한 많은 지침이 있습니다. Lazy 플러그인 관리자를 사용하는 경우 기본 설정 및 설치 방법은 다음과 같습니다:

<div class="content-ad"></div>

```json
{
  "folke/trouble.nvim",
  opts = {}, -- 기본 옵션의 경우 사용자 정의 설정 부분을 참고하십시오.
  cmd = "Trouble",
  keys = {
    {
      "<leader>xx",
      "<cmd>Trouble diagnostics toggle<cr>",
      desc = "진단 (Trouble)",
    },
    {
      "<leader>xX",
      "<cmd>Trouble diagnostics toggle filter.buf=0<cr>",
      desc = "버퍼 진단 (Trouble)",
    },
    {
      "<leader>cs",
      "<cmd>Trouble symbols toggle focus=false<cr>",
      desc = "심볼 (Trouble)",
    },
    {
      "<leader>cl",
      "<cmd>Trouble lsp toggle focus=false win.position=right<cr>",
      desc = "LSP 정의/참조 등 (Trouble)",
    },
    {
      "<leader>xL",
      "<cmd>Trouble loclist toggle<cr>",
      desc = "위치 목록 (Trouble)",
    },
    {
      "<leader>xQ",
      "<cmd>Trouble qflist toggle<cr>",
      desc = "퀵픽스 목록 (Trouble)",
    },
  },
}
```

솔직히 말해서, 나는 이 기본 구성을 바꿀 필요가 없었어. Trouble에서 얻는 주요 사용 예는 '진단 (Trouble)' 명령과 키맵 `leader`xx을 사용하는 것이야. 내 코드에 일부 형식 오류가 있을 때마다 이 키맵을 누르면 이러한 오류 목록이 별도의 창에 표시돼.

예를 들어, 아래와 같이 보일 거야:

<img src="/assets/img/2024-08-26-TheTroublePlugininNeovim_1.png" />


<div class="content-ad"></div>

저는 Vim 명령어를 통해 이 목록을 탐색하면 Neovim에서 열린 파일에 특정 코드가 강조됩니다. 이 플러그인 덕분에 코드에서의 오류와 경고를 효율적으로 탐색할 수 있게 되었습니다.

# 결론

코드에서의 오류는 즐겁지 않지만 개발 중에 이러한 오류를 발견하는 것이 중요합니다. 앱이 와일드에 출시되고 사용자가 오류를 발견할 때 기다리는 것보다 훨씬 나은 선택입니다.

Trouble은 이를 돕고 전반적인 개발 경험을 향상시켜줄 수 있는 플러그인입니다.

<div class="content-ad"></div>

# 제 주간 업데이트를 구독해보세요!

## 이 글이 마음에 드셨나요?

이 블로그 글이 도움이 되셨다면, 최신 콘텐츠를 받아보세요! 저의 최신 콘텐츠를 이메일로 받아보실 수 있습니다. 새로운 글은 매주 월요일 중앙 유럽 시간 오전 8시 30분에 게시됩니다.

## 무엇을 받게 될까요?

<div class="content-ad"></div>

가입하시면 다음과 같은 혜택을 누리실 수 있어요:

- 흥미로운 발견: 최신 도구와 라이브러리에 대한 정보를 가장 먼저 받아보세요.
- 해법 안내서: 단계별 기사로 개발 스킬을 향상시킬 수 있어요.
- 의견 글: 프런트엔드 개발 세계에 대한 사고를 자극하는 통찰론을 엿보세요.

## 저희 커뮤니티에 가입해보세요

저는 체코 공화국 프라하라는 활기차고 다채로운 도시에 가족과 함께 살고 있어요. 제 블로그는 단순히 기사뿐만 아니라 혁신과 학습을 사랑하는 유사한 개발자들이 모여있는 커뮤니티에요.

<div class="content-ad"></div>

## 나에 대해

저는 React와 TypeScript를 전문으로 하는 열정적인 프론트엔드 개발자입니다. 제 전문 경력은 자바스크립트 생태계 내에서 새로운 도구와 라이브러리를 탐험하고 정복하는 데 중점을 두고 있습니다.

제 블로그에서 원본 블로그 게시물을 확인해주세요.

관심이 있다면 LinkedIn과 Github를 확인해보세요!

네오빔(Neovim)의 트러블 플러그인 문제를 해결하는 방법



<img src="/assets/img/2024-08-26-InternalHireAIRevolutionizingWorkforceManagementwithAIandVectorSearch_0.png" />

현재의 빠르게 변화하는 비즈니스 환경에서 조직은 종종 가장 중요한 자산, 즉 기존 인재 풀을 간과하기 쉽습니다. 내부 채용의 과제들 - 적절한 후보자를 식별하고 기술을 직무 요구 사항과 일치시키는 것 - 은 효율적인 인력 관리에서 장애요인으로 작용해 왔습니다. 그런데 여기에 내부 채용 AI가 등장합니다. 이 혁신적인 솔루션은 첨단 AI 기술과 벡터 검색 기술을 활용하여 기업이 내부 인재를 발견하고 육성하며 활용하는 방식을 변화시킵니다.

# 내부 채용 AI의 탄생

내부 채용 AI 아이디어는 간단한 관찰에서 시작되었습니다. 자사의 인재많다고 해도, 많은 기업이 내부 후보자를 새로운 역할이나 프로젝트와 효율적으로 매칭하는 데 어려움을 겪습니다. 이 비효율성은 채용 시간이 더 오래 걸리고, 비용이 증가하며, 기업과 직원 모두에게 놓치는 기회가 생기게 됩니다.

<div class="content-ad"></div>

우리 팀은 내부 채용 프로세스를 효율적으로 정리할 뿐만 아니라 조직의 인재 현황에 대한 심층적인 통찰을 제공하기 위한 솔루션을 개발하게 되었습니다. 그 결과물이바로 내부 채용 AI인데, 이는 고급 AI 알고리즘과 효율적인 벡터 검색 기능을 결합한 강력한 플랫폼입니다.

# 내부 채용 AI의 주요 기능

# 1. AI 기반 이력서 분석

내부 채용 AI는 자연어 처리를 이용하여 직원의 이력서에서 기술, 경험 및 자격을 자동으로 추출하고 분류합니다. 이 기능은 수작업 이력서 검토가 필요 없어지므로, 인사 전문가들이 수많은 시간을 절약할 수 있습니다.

<div class="content-ad"></div>

# 2. 벡터 검색을 활용한 스마트 매칭

내부 채용 AI의 핵심은 벡터 검색 기능입니다. 구인 설명과 직원 프로필을 고차원 벡터로 변환하여 시스템이 빠르고 정확하게 유사성 검색을 수행할 수 있습니다. 이 접근법은 단순한 키워드 매칭을 넘어, 서로 다른 기술과 경험 사이의 맥락과 관계를 이해합니다.

# 3. 실시간 기술 격차 분석

이 플랫폼은 후보자를 직업에 매칭시키는 것뿐 아니라 가능한 기술 격차도 식별합니다. 이 기능은 고용 관리자와 직원 모두에게 귀중한데, 전문 개발 및 교육 분야를 강조합니다.

<div class="content-ad"></div>

# 4. 대화형 대시보드

Internal Hire AI는 직관적이고 Streamlit 기반의 대시보드를 제공하여 조직의 인재 풀에 대한 실시간 통찰력을 제공합니다. 인사 전문가 및 매니저들은 기술 분포를 시각화하고 내부 이동 추이를 추적하며 신흥 인재 필요를 식별할 수 있습니다.

# 5. AI 기반 채팅 인터페이스

Gemini AI의 파워를 활용한 플랫폼은 대화형 채팅 기능을 포함하고 있습니다. 사용자들은 자연어 대화를 통해 후보자 프로필을 탐색하거나 지원자를 비교하거나 인재 풀에 대한 보다 깊은 통찰력을 얻을 수 있습니다.

<div class="content-ad"></div>

# 기술 스택

내부 채용 AI는 견고하고 확장 가능한 기술 스택 위에 구축되어 있습니다:

- TiDB 벡터 데이터베이스: 고차원 직원 프로필 벡터의 효율적인 저장 및 유사성 검색에 사용됩니다.
- Gemini AI: 이력서 구문 분석 및 대화형 채팅 기능을 위한 자연 언어 처리를 담당합니다.
- Streamlit: 사용자 친화적이고 반응 형 프론트 엔드 인터페이스를 작성하는 데 사용됩니다.
- Python: 백엔드 논리 및 데이터 처리를 위한 주요 프로그래밍 언어입니다.
- Docker: 애플리케이션의 쉬운 배포 및 확장성을 보장합니다.

# 속을 들여다보기: 코드 안내

<div class="content-ad"></div>

Internal Hire AI가 어떻게 작동하는지 이해하기 위해 몇 가지 주요 코드 조각을 살펴봅시다.

# 벡터 검색 구현

Internal Hire AI의 핵심은 벡터 검색 기능입니다. TiDB를 사용하여 유사성 검색을 어떻게 구현하는지 살펴보겠습니다:

```js
def similarity_search(query):
    query_embedding = generate_embeddings(text=query)
    query_embedding = json.dumps(query_embedding)
    
    connection = database_connection()
    cursor = connection.cursor()
    sql = "SELECT id, name, department, text, available, 1 - Vec_Cosine_Distance(embedding, %s) AS similarity_score FROM resumes ORDER BY similarity_score DESC LIMIT 10"
    values = query_embedding
    result = cursor.execute(sql, values)
    nearest = cursor.fetchall()
    connection.close()
    return list(nearest)
```

<div class="content-ad"></div>

이 함수는 쿼리(예: 직무 설명)를 가져와 해당 쿼리에 대한 임베딩을 생성한 뒤 TiDB 데이터베이스에서 유사성 검색을 수행합니다. Vec_Cosine_Distance 함수는 쿼리 임베딩과 저장된 이력서 임베딩 간의 코사인 유사도를 계산합니다. 결과는 유사도 점수에 따라 정렬되어 가장 관련성 있는 일치 항목을 제공합니다.

# AI-기반 이력서 분석

이력서 분석 기능은 Gemini AI를 사용하여 핵심 정보를 추출합니다. 다음은 이력서를 처리하는 간소화된 버전입니다:

```js
def analyze_resume(resume_text):
    google_api_key = os.environ.get('GOOGLE_API_KEY')
    llm = ChatGoogleGenerativeAI(
        model="gemini-1.5-flash",
        temperature=0.2,
        max_retries=2,
        api_key=google_api_key
    )
    
    prompt = ChatPromptTemplate.from_messages([
        ("system", "당신은 이력서 분석에 특화된 AI 보조입니다. 핵심 기술, 경험 및 자격을 추출합니다."),
        ("user", "이력서: {resume}\n\n구조화된 형식으로 주요 정보를 추출해주세요.")
    ])
    
    chain = prompt | llm | StrOutputParser()
    return chain.invoke({"resume": resume_text})
```

<div class="content-ad"></div>

이 기능은 이력서 텍스트를 분석하는 데 Gemini AI를 사용합니다. AI에게 주요 정보를 추출하도록 지시하는 채팅 프롬프트를 설정합니다. 그 결과로 이력서의 주요 요소가 구조화된 출력으로 제공됩니다.

# Streamlit을 이용한 대화형 대시보드

저희 사용자 친화적인 대시보드는 Streamlit을 사용하여 구축되었습니다. 다음은 주요 레이아웃을 만드는 방법을 보여주는 스니펫입니다:

```javascript
import streamlit as st
```

<div class="content-ad"></div>

```python
def main():
    st.set_page_config(page_title="Internal Hire AI", layout="wide")
    st.title("Internal Hire AI 대시보드")
    col1, col2 = st.columns([3, 2])
    with col1:
        st.header("지원자 검색")
        search_query = st.text_area("직무 설명 또는 필수 기술 입력")
        if st.button("검색"):
            results = similarity_search(search_query)
            display_results(results)
    with col2:
        st.header("분석")
        display_analytics()
if __name__ == "__main__":
    main()
```

이 코드는 대시보드의 주요 구조를 설정합니다. 지원자 검색을 위한 하나와 분석을 위한 다른 하나의 두 열을 만듭니다. 사용자가 검색을 시작하면 similarity_search 함수가 호출되고 결과가 왼쪽 열에 표시됩니다.

# 데이터 처리 파이프라인

데이터 처리 파이프라인은 최신 및 정확한 정보를 유지하는 데 중요합니다. 업데이트 프로세스의 간소화된 버전을 확인해보세요.

<div class="content-ad"></div>

```python
def update_employee_data():
    connection = database_connection()
    cursor = connection.cursor()
```

```python
    # 모든 직원 정보 가져오기
    cursor.execute("SELECT id, name, department, resume_text FROM employees")
    employees = cursor.fetchall()
    for employee in employees:
        # 새로운 임베딩 생성
        embedding = generate_embeddings(employee[3])
        
        # 데이터베이스 업데이트
        sql = "UPDATE employees SET embedding = %s WHERE id = %s"
        cursor.execute(sql, (json.dumps(embedding), employee[0]))
    connection.commit()
    connection.close()
```

이 함수는 정기적으로 모든 직원의 벡터 임베딩을 업데이트합니다. 각 직원의 데이터를 가져와서, 업데이트된 이력서 텍스트를 기반으로 새로운 임베딩을 생성하고 이를 데이터베이스에 다시 저장합니다. 이를 통해 유사성 검색이 항상 가장 최신 정보를 사용하게 됩니다.

# 도전을 극복하며


<div class="content-ad"></div>

내부 채용 AI 개발은 어려움이 없었던 것은 아니었습니다. 극복해야 했던 주요 장애물 중 일부는 다음과 같습니다:

- 데이터 프라이버시 보장: 민감한 직원 정보를 보호하기 위해 안전한 보안 조치를 시행했습니다. 데이터 휴식 및 전송 중 암호화, 엄격한 접근 제어 등이 포함되었습니다.
- AI 편향 완화: 채용 과정에서 편견을 최소화하는 알고리즘을 설계하는 데 상당한 노력이 기울였습니다. AI 모델을 정기적으로 검토하고 다양성 및 포용성 지표를 일치 알고리즘에 통합했습니다.
- 성능 최적화: 대규모 벡터 검색에서 실시간 결과를 달성하기 위해서 혁신적인 최적화 기술이 필요했습니다. 대규모 데이터셋에서도 빠른 응답 시간을 보장하기 위해 효율적인 색인 전략과 캐싱 메커니즘을 구현했습니다.
- 원활한 통합: 여러 고급 기술을 통합하는 작업은 신중한 아키텍처 설계를 필요로 하는 복잡한 과제였습니다. 독립적인 스케일링과 업데이트를 가능하게 하기 위해 마이크로서비스 아키텍처를 도입했습니다.
- 사용자 경험 디자인: 다양한 기술적 전문성을 가진 사용자를 위해 강력하면서도 접근성 있는 인터페이스를 만드는 것은 상당한 도전이었습니다. Streamlit 기반의 인터페이스가 직관적이고 효율적이도록 확장된 사용자 테스트 및 반복적 디자인을 실시했습니다.

# 내부 채용 AI의 영향과 미래

내부 채용 AI의 잠재적인 영향은 업무 관리에 상당합니다. 내부 채용 프로세스의 간소화를 통해 조직은 다음과 같은 이점을 얻을 수 있습니다:

<div class="content-ad"></div>

- 50%까지 채용 포지션의 채우기 소요 시간 단축
- 더 나은 직무 매칭을 통해 직원 이탈률 30% 향상
- 내부 인재를 보다 효과적으로 활용하여 채용 비용 감소
- 새로운 프로젝트를 위해 적절한 인재를 신속히 식별하고 배치하여 전체적인 조직적 재기성 강화

앞으로 우리는 내부 채용 AI의 미래를 위한 흥미로운 계획이 있습니다. 이 계획은 다음과 같습니다:

- 예측 분석: 미래 기술 요구를 예측하고 적극적인 직원 개발 계획을 제안하기 위해 머신 러닝 모델을 도입합니다.
- HRIS 통합: 인기 있는 인적 자원 정보 시스템과 실시간 데이터 동기화를 가능하게 하는 API를 개발하여 연결합니다.
- 모바일 애플리케이션: 키 기능에 대한 온라인 액세스를 통해 관리자가 어디서든 빠른 결정을 내릴 수 있도록 내부 채용 AI의 모바일 버전을 만듭니다.
- 다국어 지원: 글로벌 기관 및 다양한 직장 환경을 지원하기 위해 언어 기능을 확장합니다.
- 경력 권고 사항: 조직 내 장기적 경력 발전을 위한 AI 기반 제안을 도입하여 직원이 성장을 시각화하고 계획할 수 있도록 돕습니다.
- 피드백 루프 통합: 채용 후 성과 데이터를 통합하여 계속해서 매칭 알고리즘을 개선하고 시간이 지남에 따라 보다 정확한 추천을 제공합니다.

# 동작 방식 확인

<div class="content-ad"></div>

내부 채용 AI 및 그 능력을 더 자세히 살펴보려면 YouTube의 데모 비디오를 확인해보세요. 이 비디오는 플랫폼의 주요 기능을 안내하며 내부 채용 프로세스를 변화시킬 수 있는 방법을 보여줍니다.

# 내부 채용 AI 체험: 라이브 데모

우리는 내부 채용 AI를 통한 실제 체험을 제공하는 데 흥분합니다. 이 대화형 쇼케이스를 통해 플랫폼의 핵심 기능을 탐색하고 내부 채용 프로세스를 혁신할 수 있는 방법을 직접 보실 수 있습니다.

# 데모에 액세스하기

<div class="content-ad"></div>

저희의 데모 사이트를 방문해보세요: [여기를 클릭하세요](https://internal-hire-y2c6jfb2ma-el.a.run.app/)

# 무엇을 살펴볼 수 있을까요?

- 대시보드 개요: 직관적인 인터페이스를 경험하고 주요 지표가 한눈에 어떻게 표시되는지 확인해보세요.
- 이력서 업로드: 샘플 이력서를 업로드해보고 저희 AI가 정보를 추출하고 분석하는 과정을 실시간으로 확인해보세요.
- 기술 매칭: 채용 공고나 필요 기술 목록을 입력하여 저희 벡터 검색 기술이 샘플 데이터베이스에서 가장 적합한 매칭을 찾아주는 방법을 확인해보세요.
- AI 채팅 인터페이스: AI 파워드 채팅을 통해 후보자나 포지션에 관한 질문을 하고 제공되는 통찰력의 깊이를 체험해보세요.
- 분석 시각화: 직업 시장 동향이나 기술 분포를 보여주는 대화식 차트와 그래프를 살펴보세요.

# 데모 사용 방법

<div class="content-ad"></div>

- 대시보드의 각 섹션을 탐색하여 레이아웃을 익히는 데 도움을 받아보세요.
- 테스트용으로 가상 이력서를 업로드하여 우리의 AI가 정보를 처리하고 분석하는 방식을 확인해보세요.
- 특정 기술 또는 직무 요구 사항을 기반으로 후보자를 찾기 위해 검색 기능을 사용해보세요.
- 샘플 데이터 또는 가상 시나리오에 대한 질문을 해보면서 AI 채팅을 실험해보세요.

# 피드백 및 질문

데모를 탐험하면서 메모를 작성하고 피드백을 공유하는 것을 장려합니다. 귀하의 통찰력은 Internal Hire AI를 개선하고 완화하는 데 가치 있는 도움이 됩니다. 데모를 사용하는 동안 질문이나 문제가 발생하면 언제든지 당사팀에 문의해 주세요.

이 실시간 데모는 Internal Hire AI가 내부 인재 관리 방식을 변화시킬 수 있는 미리보기를 제공하기 위해 설계되었습니다. 데모 목적을 위해 제한된 데이터셋을 사용하나, 모든 규모의 기업에 제공되는 우리의 전체 시스템이 제공하는 강력한 기능을 명확히 보여줍니다.

<div class="content-ad"></div>

저희는 Internal Hire AI를 경험하면 내부 채용 프로세스에서 상당한 개선 가능성을 확인하실 것이라고 확신합니다. 이로 인해 인재 활용이 더욱 향상되고 직원 만족도가 증가하며 전반적인 조직적 민첩성이 개선될 것으로 기대됩니다.

# 혁명에 참여하세요

저희는 Internal Hire AI가 미래의 직원 관리 방식을 대변한다고 생각합니다. AI와 벡터 검색 기술의 힘을 활용하여, 우리는 단순히 직책을 채우는 것이 아니라 조직적 인재의 전체 잠재력을 발휘하고 있습니다.

프로젝트의 기술적 세부 정보를 탐구하고 싶은 분들을 위해, 저희의 GitHub 저장소가 기여와 피드백을 받아들이고 있습니다. 개발자, 인사 전문가 및 직원 관리를 개선하고자 하는 모든 열정적인 분들과의 협력을 환영합니다.

<div class="content-ad"></div>

내부 채용 AI는 단순히 도구 이상입니다. 그것은 내부에서 더 강하고 민첩한 조직을 구축하기 위한 파트너입니다. 함께 일하며, 한 명의 지능적인 채용으로 미래의 일자리를 재정립해 보세요.

당신의 조직의 내부 채용 접근 방식을 혁신하시겠습니까? 내부 채용 AI를 탐험하고 귀하의 인력의 전체 잠재력을 발휘해 보세요. 저희와 연락하여 내부 채용 AI가 귀하의 인재 관리 전략을 변화시키는 방법에 대해 더 배우세요.

내부 채용 AI AI 및 벡터 검색으로 직원 관리 혁신하기

물리 역학 시스템을 위한 강화 학습 대안적 접근



당신의 LLM이 항상 정답을 아는 친구에게 전화할 수 있다면 어떨까요?

LLM들은 인상적인 답변을 생성할 수 있지만, 그들의 지식은 시간이 멈춰있고 마지막 훈련을 받은 날짜를 넘어설 수 없습니다. 새로운 데이터로부터 다시 훈련시킬 수는 있지만 비용과 시간이 많이 소요됩니다. 파인튜닝? 그건 시험을 위해 강제 공부하는 것과 비슷한데요. 이는 새로운 지식이 기존 지식을 밀어내면서 치명적인 잊혀짐을 초래할 수 있습니다. 여기에 검색 보강 생성(Retrieval-Augmented Generation, RAG)이라는 기술이 등장합니다. RAG를 사용하면 당신의 LLM에게 정확한 답변을 제공하기 위해 필요한 누락된 지식을 제공할 수 있습니다.

## 목차

- 검색 보강 생성(RAG) 이해
- 간단한 RAG 파이프라인 구축
   - 데이터 수집
   - 검색 메커니즘 설정
   - LLM과 회수된 정보 통합
- 결론
- 향후 개선 사항

<div class="content-ad"></div>

# 검색 증가 생성 이해

![이미지](/assets/img/2024-08-26-BuildingaSimpleRetrievalAugmentedGenerationRAGPipeline_0.png)

검색 증가 생성(Retrieval Augmented Generation, RAG)은 LLM(Large Language Models)의 능력을 향상시키는 기술로, 외부 정보에 액세스할 수 있게 함으로써 가능합니다. LLM이 이미 알고 있는 것에만 의존하는 대신(이는 오래되었거나 불완전할 수 있음), RAG는 모델이 "검색"추가 데이터를 찾아볼 수 있도록 합니다.

간단히 말하면, 질문을 하면, 시스템은 먼저 데이터베이스에서 관련 정보를 검색합니다. 이 정보는 그런 후 LLM의 자체 지식과 결합되어 더 정확한 응답을 생성합니다.

<div class="content-ad"></div>

## RAG의 주요 구성 요소

- 임베딩 모델
임베딩 모델은 데이터(예: 텍스트)를 숫자 벡터로 변환하여 내용의 의미론적 의미를 캡처합니다. 이를 통해 시스템은 사용자의 쿼리와 저장된 데이터 간 유사성을 측정하여 관련 정보를 찾고 비교할 수 있습니다.

- 벡터 데이터베이스
벡터 데이터베이스는 이러한 임베딩(데이터의 숫자적 표현)을 저장합니다. 쿼리를 제출하면 데이터베이스가 빠르게 해당 쿼리와 유사한 임베딩을 검색하여 가장 관련성 높은 정보를 검색합니다.

- 리트리버
리트리버는 벡터 데이터베이스를 검색하는 역할을 합니다. 사용자의 쿼리를 사용하여 가장 가까운 매칭 임베딩을 찾아 질문에 답할 수 있는 가장 관련성 있는 정보를 끌어냅니다.

- LLM
관련 정보를 검색한 후, LLM은 해당 정보를 자체 내부 지식과 결합하여 응답 생성합니다. LLM은 검색된 데이터가 제공하는 컨텍스트를 활용하여 더 정확하고 정보를 가진 답변을 제공합니다.

# 간단한 RAG 파이프라인 구축

RAG의 기본 내용을 다룼었으니, 간단한 파이프라인을 구축해 보겠습니다. 데이터 준비부터 검색 시스템 설정 및 LLM과 통합까지 주요 단계를 설명하겠습니다. 최종적으로 정확하고 최신의 응답을 제공할 수 있는 기능적인 RAG 파이프라인을 보유하게 될 것입니다.

<div class="content-ad"></div>

## 요구 사항

따라가기 위해 다음 사항이 필요합니다:
1. Vector DB 인스턴스 (Milvus를 사용할 예정입니다)
2. LLM 채팅 API (OpenAI를 사용할 예정입니다)

## 1. 데이터 적재

이 섹션에서는 PDF를 관리 가능한 청크로 분할하고 내장 모델을 사용하여 임베딩한 후 Milvus에 저장하는 방법을 보여드리겠습니다. 예시로 'Attention is all you need'를 사용하지만 LangChain에 사용 가능한 적절한 로더와 스플리터를 사용하여 .md, .doc 등과 같은 다른 파일 유형을 사용할 수 있습니다. 또는 기본 Python 논리를 사용하여 청크를 생성할 수도 있지만, 이 튜토리얼에서는 LangChain을 사용하겠습니다.

<div class="content-ad"></div>

필요한 라이브러리를 가져오기

```js
from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Milvus
from langchain.embeddings import HuggingFaceEmbeddings
```

메모리에 임베딩 모델 로드하기

```js
model_name = "sentence-transformers/all-mpnet-base-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)
```

<div class="content-ad"></div>

텍스트 데이터를 포함하기 위해서는 LangChain의 HuggingFaceEmbeddings 클래스를 사용할 것입니다. 이 튜토리얼에서는 sentence-transformers/all-mpnet-base-v2 모델을 사용하고 있습니다. 이 모델은 가벼우면서 품질 좋은 임베딩을 생성하는 데 적합합니다.

Milvus 자격 증명 정의하기

```js
MILVUS_HOST = "10.192.111.152"
MILVUS_PORT = "19530"
MILVUS_COLLECTION = "basic_rag_collection"
MILVUS_DB = "basic_rag_db"
```

Milvus 인스턴스에 연결하기 위한 필요한 자격 증명을 정의합니다. 호스트, 포트, 컬렉션 이름 및 데이터베이스 이름이 포함됩니다. 이러한 정보는 Milvus에 문서 조각을 저장하고 관리하는 데 사용될 것입니다.

<div class="content-ad"></div>

파일 로딩

```js
loader = PyPDFDirectoryLoader(path)
docs = loader.load()
```

특정 디렉토리(path)에서 모든 PDF 파일을 로드하는 것으로 시작합니다. PyPDFDirectoryLoader는 디렉토리의 각 PDF 파일을 읽는 데 사용되며, `loader.load()`는 문서를 더 처리할 수 있는 객체 목록으로 반환합니다.

텍스트를 청크로 분할하기

<div class="content-ad"></div>

```js
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=2048,
    chunk_overlap=300,
    length_function=len,
)

chunks = text_splitter.split_documents(docs)
```

문서를 로드한 후에는 처리와 검색을 쉽게하기 위해 더 작고 관리하기 쉬운 청크로 나눠야 합니다. 여기서는 RecursiveCharacterTextSplitter를 사용하여 문서를 2048자씩의 청크로 나누는데, 청크 간에 300자의 오버랩을 두었습니다. 이 오버랩은 각 청크 사이에 중요한 맥락이 유실되지 않도록 보장합니다. 두 값을 조정하여 사용자에게 가장 적합한 값을 찾을 수 있습니다.

Milvus에 청크 저장하기

```js
Milvus.from_documents(
    chunks,
    hf,
    collection_name=MILVUS_COLLECTION,
    connection_args={"host": MILVUS_HOST, "port": MILVUS_PORT, "db_name": MILVUS_DB},
)
```

<div class="content-ad"></div>

마지막으로, 우리는 Milvus에 청크를 저장하여 효율적인 벡터 기반 검색을 수행합니다. 우리는 Milvus.from_documents를 사용하여 앞에서 정의한 Milvus 컬렉션에 청크를 넣어줍니다. 청크와 임베딩 모델(hf)을 전달하며, connection_args는 Milvus 호스트, 포트 및 데이터베이스 이름을 지정하여 데이터가 올바른 위치에 저장되도록 합니다.

전체 삽입 기능은 아래와 같이 정의할 수 있습니다.

```js
def ingest_files(path):
    loader = PyPDFDirectoryLoader(path)
    docs = loader.load()
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=2048,
        chunk_overlap=300,
        length_function=len,
    )

    chunks = text_splitter.split_documents(docs)

    Milvus.from_documents(
        chunks,
        hf,
        collection_name=MILVUS_COLLECTION,
        connection_args={"host": MILVUS_HOST, "port": MILVUS_PORT,"db_name":MILVUS_DB},
    )

ingest_files('./pdfs')
```

## 2. 검색 메커니즘 설정

<div class="content-ad"></div>

이 섹션에서는 주어진 쿼리를 기반으로 Milvus에서 관련 정보를 가져오는 검색 메커니즘을 설정할 것입니다.

```js
vector_db = Milvus(
    hf,
    connection_args={"host": MILVUS_HOST, "port": MILVUS_PORT, "db_name": MILVUS_DB},
    collection_name=MILVUS_COLLECTION,
)
```

우선, 문서 청크가 저장된 Milvus 컬렉션에 대한 연결을 초기화합니다.

```js
def get_relevant_context(question, k=3):
    retriever = vector_db.as_retriever(search_kwargs={"k": k})
    context = retriever.invoke(question)
    return context
```

<div class="content-ad"></div>

그 다음으로, 사용자의 질문을 기반으로 가장 관련 있는 문서 조각을 검색하는 get_relevant_context 함수를 정의합니다.

질문과 함께 함수가 호출되면, 검색기는 Milvus 컬렉션에서 가장 관련 있는 조각을 찾습니다. invoke 메서드는 쿼리를 실행하고, 함수는 k개의 관련 조각을 반환합니다.

## 3. LLM과 검색된 정보 통합

이 섹션에서는 Milvus로부터 검색된 컨텍스트를 LLM과 결합하여 응답을 생성할 것입니다.

<div class="content-ad"></div>

```js
from openai import OpenAI
client = OpenAI(api_key="sk-zZ...agB")
```

첫 번째로, 언어 모델과 상호 작용하기 위해 API 키를 사용하여 OpenAI 클라이언트를 설정합니다.

```js
def generate_prompt_template(context, question):
    return f"""Context: {context}
    Question: {question}
    """
```

다음으로는 사용자의 질문과 함께 검색한 콘텍스트를 서식화하여 LLM이 이해할 수 있는 프롬프트 템플릿으로 구성하는 generate_prompt_template 함수를 정의합니다.

<div class="content-ad"></div>

```js
SYSTEM_PROMPT = """도움이 되는 어시스턴트입니다. 일련의 맥락과 질문이 제공됩니다. 제시된 맥락을 사용하여 질문에 답하십시오.
                   주어진 맥락을 사용하여 질문에 답할 수 없는 경우에는 단순히 '주어진 맥락에 대한 답변이 없습니다.' 라고만 말하고 다른 내용은 말하지 말아야 합니다.
                   제공된 맥락에 정보가 없는 경우에는 답변을 만들 수 없거나 자신의 지식을 사용해서는 안 됩니다."""

```

SYSTEM_PROMPT은 LLM이 제공된 맥락을 엄격히 기반으로 답변하도록 안내하여 정확하고 맥락 중심의 응답을 보증합니다.

```js
def llm(system_prompt, question, model):
    
    context = get_relevant_context(question)
    user_prompt = generate_prompt_template(context, question)
    
    messages = [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": user_prompt},
    ]

    completion = client.chat.completions.create(
        model=model,
        messages=messages
    )

    response = completion.choices[0].message.content
  
    return response
```

llm 함수는 먼저 Milvus로부터 관련 맥락을 검색하고 이를 user_prompt 템플릿에 추가하여 LLM에 전달합니다. LLM은 입력을 처리하고 응답을 생성한 후 반환합니다. 


<div class="content-ad"></div>

```js
question = "인코더와 디코더에 대해 설명해줘"
llm_answer = llm(SYSTEM_PROMPT, question, 'gpt-4o')
```

마지막으로, 우리는 Milvus로부터 가져온 컨텍스트를 기반으로 LLM에게 질문을 하고 답변을 받습니다.

![이미지](/assets/img/2024-08-26-BuildingaSimpleRetrievalAugmentedGenerationRAGPipeline_1.png)

# 결론


<div class="content-ad"></div>

이 튜토리얼에서는 검색 메커니즘과 LLM을 결합하여 정확하고 맥락 기반의 답변을 생성할 수 있는 시스템을 만들었습니다. 이러한 방식을 사용하면 저장된 문서에 효율적으로 접근하고 필요할 때 relevant한 정보를 얻을 수 있습니다. 이 설정은 복잡한 쿼리를 처리하고 AI 응답을 신뢰할 수 있고 실제 데이터에 기반하도록 유지하는 실용적인 방법을 제공합니다.

# 미래 향상

이 시스템은 견고한 기반을 제공합니다. 그러나 성장할 여지가 많습니다. 미래의 향상은 의미 캐싱, 프롬프트 라우팅, 의미적 라우팅, 평가, 재랭킹, HYDE 및 수정 RAG 등의 기능을 포함할 수 있습니다. 이러한 추가 기능 각각은 검색 증강 생성 프로세스의 효율성과 정확성을 더욱 향상시킬 수 있습니다. 이러한 고급 기술에 대해 후속 튜토리얼에서 자세히 살펴볼 예정이니 더 많은 정보를 기대해 주세요.

간단한 검색 보강 생성 (RAG) 파이프라인 만들기

파클 게임의 규칙과 전략




<img src="/assets/img/2024-08-26-BasicsOfWebScrappingWithBeautifulSoup_0.png" />

BeautifulSoup는 Python에서 가장 간단하고 쉽게 배울 수 있는 웹 스크래핑 라이브러리 중 하나입니다.

다음 블로그는 BeautifulSoup의 핵심 주제 중 일부를 소개하며, 웹 스크래핑 분야로 진입하는 데 도움이 될 것입니다.

사전 요구 사항 - 기본적인 HTML


<div class="content-ad"></div>

# 1) 설치

Python에 BeautifulSoup 패키지를 설치하려면 터미널에서 다음 명령어를 사용할 수 있습니다.

```js
pip install beautifulsoup4
```

# 2) 웹 사이트에 연결하기

<div class="content-ad"></div>

웹 스크래핑의 첫 번째 단계는 코드 편집기에서 대상 웹 사이트와의 연결을 설정하여 웹 사이트의 HTML 콘텐츠를 가져오고 필요한 데이터를 추출하는 것입니다.

Python requests는 웹 사이트로 HTTP 요청을 보내는 데 사용되는 라이브러리입니다.

다음 명령어로 Requests를 설치하세요:

```js
pip install requests
```

<div class="content-ad"></div>

자료를 스크레이핑하기 위해서는 먼저 requests 라이브러리를 사용해서 해당 웹페이지의 콘텐츠를 추출해야 해요:

```js
url = "http://example.com"
response = requests.get(url)
html_content = response.text
```

웹페이지의 HTML 구조는 html_content 변수에 저장됩니다.

# 3) Beautifulsoup 객체 생성

<div class="content-ad"></div>

```js
soup = BeautifulSoup(html_content, 'html.parser')
```

BeautifulSoup 객체를 만드는 것은 데이터를 추출하는 핵심 단계 중 하나입니다.

여기서는 덧대 Beautifulsoup 오브젝트로부터 데이터를 추출하는데 필요한 순수 HTML 문자열을 Python 객체의 구조화된, 탐색 가능한 트리로 변환합니다. 이를 통해 문서에서 데이터를 손쉽게 검색, 수정, 추출할 수 있게 됩니다.

# 예시 HTML 코드:

<div class="content-ad"></div>

```javascript
<!DOCTYPE html>
<html>
<head>
    <title>예시 페이지</title>
</head>
<body>
    <div id="main-content" class="content">
        <h1>예시 페이지에 오신 것을 환영합니다</h1>
        <p>이것은 <a href="https://example.com">링크</a>가 있는 샘플 단락입니다.</p>
        <p class="description">이 단락은 특정 클래스를 가지고 있습니다.</p>
        <a href="https://another-example.com">또 다른 링크</a>
    </div>
    <footer id="footer">
        <p>&copy; 2024 Example</p>
    </footer>
</body>
</html>
```

이제 이 샘플 HTML 구조에서 몇 가지 데이터를 추출해보겠습니다:

## 1) 태그로 엘리먼트 찾기

이것은 데이터를 찾고 추출하는 가장 직접적인 방법 중 하나입니다.

<div class="content-ad"></div>

여기서는 a, p, h1 등과 같은 HTML 태그 내에서 검색을 수행합니다...

HTML:

```js
<title>Example Page</title>
```

코드:

<div class="content-ad"></div>

```js
title_tag = soup.find('title')
print(title_tag)  
print(title_tag.string)  
```

설명:

기본적으로, 우리는 이 경우 "title tag" 내의 데이터인 "Example Page"를 추출하고 있습니다.

## 2) CSS 클래스에 따라 요소 찾기

<div class="content-ad"></div>

HTML의 클래스는 요소에 CSS 스타일을 적용하는 데 사용되지만, 스크레이핑해야 하는 데이터를 식별하는 데도 사용할 수 있어요.

HTML:

코드:

```js
element = soup.find('p', class_='description')
print(element.string)
```

<div class="content-ad"></div>

해설:

이 HTML 구조에서 class = "description" 인 첫 번째 'p' 태그를 찾고 있습니다.

요소를 찾으면 html 요소 내부의 텍스트를 ".string"을 사용하여 추출합니다.

## 3) ID로 요소 찾기

<div class="content-ad"></div>

클래스와 유사하게, 우리는 필요한 데이터를 찾아 추출하기 위해 html에서 id 속성을 사용합니다.

HTML:

```js
<div id="main-content" class="content">
    <h1>예시 페이지에 오신 걸 환영합니다</h1>
    <p>이것은 <a href="https://example.com">링크</a>가 있는 샘플 단락입니다.</p>
</div>
```

코드:

<div class="content-ad"></div>

```js
element = soup.find(id='main-content')
print(element.string)
```

설명:

여기서는 id가 `main-content`인 첫 번째 html 태그를 찾아 내부의 텍스트를 추출하려고 합니다.

이 경우 출력은 다음과 같을 것입니다:

<div class="content-ad"></div>

"예제 페이지에 오신 것을 환영합니다

이곳은 링크가 있는 샘플 단락입니다"

## 4) 링크 찾기

HTML 요소에는 href와 같이 특정 링크나 URL이 저장된 속성이 있습니다.

<div class="content-ad"></div>

특정 속성을 갖는 특정 태그를 검색하여 해당 링크를 찾을 수 있어요!

# HTML:

```js
<a href="https://example.com">link</a>
```

코드:

<div class="content-ad"></div>

```js
link = soup.find('a')
print(link['href'])  
```

설명:

첫 번째 'a' 태그를 찾아 변수 link에 저장했습니다.

“a” 태그 내의 링크에 액세스하기 위해 link[‘href’]를 사용합니다. 여기서 href는 속성입니다.

<div class="content-ad"></div>

"위치를 찾을 수 있는 여러 요소

지금까지 우리가 필요한 특정 데이터를 찾는 데 `find` 메서드를 사용했다는 것을 이미 알아챘을 것입니다."

`https://example.com`

<div class="content-ad"></div>

그러나 "find" 메서드는 특정 태그의 첫 번째 발생을 찾을 때 사용됩니다.

특정 태그의 모든 발생을 찾아야 하는 경우는 어떻게 할까요?

그럴 때 "find_all" 메서드가 활약합니다.

예를 들어 설명해 드릴게요:

<div class="content-ad"></div>

## a) Find Method

샘플 HTML:

```html
<!DOCTYPE html>
<html>
<head>
    <title>Sample Page</title>
</head>
<body>
    <p>This is the first paragraph.</p>
    <p>This is the second paragraph.</p>
    <p>This is the third paragraph.</p>
</body>
</html>
```

코드

<div class="content-ad"></div>


# Markdown

세부 설명:
이 코드는 `soup.find('p')`를 사용하여 HTML에서 첫 번째 단락을 찾고 `first_p` 변수에 저장합니다. 그런 다음 `print(first_p)`를 통해 첫 번째 단락 요소를 출력하고, `print(first_p.text)`를 통해 해당 요소의 텍스트 콘텐츠를 출력합니다.


<div class="content-ad"></div>

우리는 find 메소드를 사용하여 첫 번째 `p` 태그를 찾고, 해당 태그 내의 텍스트를 추출했어요.

## 2. Find All 메소드

코드:

```js
# 모든 <p> 태그 찾기
all_ps = soup.find_all('p')
for p in all_ps:
    print(p.string)
```

<div class="content-ad"></div>

출력:

```js
첫 번째 단락입니다.
두 번째 단락입니다.
세 번째 단락입니다.
```

설명:

모든 `p` 태그는 변수 "all_ps"에 리스트 형식으로 저장되어 있습니다.

<div class="content-ad"></div>

그럼 목록 내의 각 p 태그마다 for 루프를 사용하여 내부 텍스트를 ".string"을 사용하여 추출합니다.

# 텍스트 추출의 다양한 방법

- .get_text()
- .string
- .text

결론

<div class="content-ad"></div>

이것들은 웹 스크레이핑의 세계에서 시작할 수 있는 핵심 개념들입니다.

이제 연습할 시간이에요. 원하는 데이터를 추출하기 위해 간단한 웹페이지를 스크레이핑해보세요.

고맙습니다,

Muhammed Ashhar

가장 쉬운 웹 크롤링 방법, BeautifulSoup 정리



그것은 무서운 밤이었습니다. CSS의 신께서 배경 색을 '회색'으로 설정하고 대부분의 것들에게 'display: none'을 주셨습니다. 시계가 A...M으로 하품을 시작했고, 어둡고 공허한 밤 속에서 Flexbox는 긴박한 정렬 작업과 콘텐츠 정의 날 끝낸 후 홀로 바쁘게 집으로 향하고 있었습니다. 그는 두려워했습니다. 그는 이 지역과 특히 이 거리에 대한 많은 소문을 들었지만 결코 믿지는 않았습니다.

Flexbox는 과학을 믿었습니다. 그는 세상이 상자 모델의 법칙에 의해 통제된다는 것을 알았습니다. 주변 대부분의 사람들은 이 상자 모델의 법칙이 Jesus Webdev라는 신이 세운 것이라고 믿었지만, Flexbox는 무신론자적인 신봉자였습니다. 그는 삶에 목적이나 의미가 없다고 믿었습니다. '축소-확장-감싸기-반복', 그것이 그가 알고 있는 삶의 전부였습니다.

Flexbox는 항상 유령 개념과 그것을 믿는 사람들을 경멸했습니다. 그러나 배경 색상이 어둡고 더 많은 것들이 display: none으로 사라지자, Flexbox는 자신의 믿음에 의문을 품기 시작했습니다.

<div class="content-ad"></div>

이런 밤에는 유령의 존재에 대해 곰곰히 생각하기 좋은 때가 아닐지도 몰라요. Flexbox는 많은 무신론자 친구들이 이런 상황에서 신을 찾는 것을 보았습니다. 그는 다른 것에 대해 생각하며 자신을 현혹시키려고 노력했어요.

Flexbox는 측정 가능한 과거를 가지고 있었어요. 학교에서는 친구들에게 선하다고 괴롭힘을 당했던 것을 기억합니다. 동료들은 그를 '베타'라고 놀렸죠. 그러나 명확한 이유로 날짜를 만드는 데는 문제가 없었지만 의미 있는 관계를 맺기는 힘들었어요. 누군가가 가까워지자마자 그는 마진과 패딩을 늘리기 시작했습니다. 사무실에서 그 옆에는 그리드라는 여자가 있었습니다. 그녀를 정말 좋아했지만 문제는 그녀가 지나치게 깔끔했단 거예요. 그녀는 비대칭을 싫어했죠. 반면에 Flexbox는 그런 것에 대해 생각을 거의 안 했던 것을 알았습니다. 그는 스스로를 아주 잘 알았어요. 그는 문제를 해결하기보다는 문제의 일부가 되는 게 나았죠. 그래서 그들의 관계는 친구 이상으로 발전하지 않았습니다. 나중에 Flexbox는 그리드가 실제로 테이블이라는 남자와 관계가 있었다는 사실을 알았어요. 그래서 Flexbox는 그녀를 포기하기로 결정했죠.

박쥐가 그의 위를 훨씬 지나치며 거의 머리에 부딪칠 뻔했습니다. Flexbox는 잠시 마음이 멈춘 것 같았어요. 주변을 둘러보았어요. 지금은 완전히 어둡네요. 그의 다리에 어떤 종류의 기억이 있을지 궁금해졌어요. 그는 그런 어둠 속에서 거의 집으로 오는 길 절반을 이동해왔습니다. 시계를 확인했어요. 벌써 자정 넘었습니다. 그는 걸음을 재촉했어요. 침묵이 두려움을 부추기고 그의 부츠는 연설자 역할을 했어요. 갑자기 무언가가 그의 발 아래에 끼어들었고 그는 전율했습니다. 그의 손은 어떤 지지물을 찾으려고 했지만 실패했습니다. 마침내 그의 다리가 포기하고 그는 땅에 넘어졌어요.

Flexbox가 땅에 떨어지자, 조심스럽게 유지해 온 구조가 무너지는 것을 느꼈습니다. 잠시 그가 어둠의 거리에 널브러져 있을 때, 제대로 정렬되지 않은 div 세트처럼 보였습니다.

<div class="content-ad"></div>

그럼, 다음과 같이 Markdown 형식으로 테이블 태그를 변경하실 수 있습니다:


| Header 1 | Header 2 |
|----------|----------|
| Row 1    | Data 1   |
| Row 2    | Data 2   |


<div class="content-ad"></div>

블록은 기분 좋게 웃었습니다. 소리에 Flexbox의 등골이 오싹해졌어요. "폐기되었어요? 음, 너희 모던 레이아웃들은 자신들이 아주 똑똑하다고 생각하는군. 그러나 우리 중 일부는... 우리는 결코 완전히 사라지지 않아." 블록은 자신을 'return' 이후의 JavaScript 코드처럼 생각했습니다. 그 코드는 도달할 수 없는 것으로 여겨졌기 때문에.


블록이 나타나자 Flexbox는 숨을 들이쉬었습니다. 블록은 홀로 있는 게 아니었습니다. 그 뒤에는 Table, Float, 그리고 무서운 Inline-Block조차 있었습니다.


"무슨 문제야, Flexbox?" Table Layout이 비웃었습니다. "이 작은 구조를 다루지 못 하고 있어?"


Flexbox는 당당하게 서려고 했지만 자신의 자신감이 흐려지는 걸 느꼈습니다. "여러분, 싸울 필요 없어요. CSS 세계에 우리 모두가 함께 있을 자리가 있잖아요. 우리 그냥... 공존할 수 없을까요?"

<div class="content-ad"></div>

Float는 거친 소리를 내며 웃었습니다. 그 소리는 어둠 가득한 거리에 울렸어요. "공존을 하자고요? 몇 년 동안 우리를 쫓아내려 애쓰고 있었잖아요! 이제는 진짜 레이아웃 파워가 어떤 것인지 보여줄 차례입니다!"

고전 레이아웃의 무리가 가까이 다가오자, Flexbox는 결의가 약해지는 것을 느꼈습니다. 눈을 감고 충격에 대비했어요. 그런데 모든 희망이 사라진 것처럼 보였을 때, 빛나는 빛이 어둠을 가르고 들어왔어요.

"거기 멈춰요!" 강한 목소리가 울려 퍼졌어요.

Flexbox는 눈을 활짝 떴어요. 거리 위를 떠 다니면서 그리드에 총명함이 넘쳐나는 그녀가 그랬어요.

<div class="content-ad"></div>

“G-Grid?” Flexbox exclaimed in surprise. Grid smiled back at Flexbox and then locked eyes with Table. Table felt the intensity in her gaze and took a step back.

Flexbox mumbled, “I thought you were on Table's side?”

Grid rolled her eyes. “Come on. That was just a phase. Now, are we going to show these outdated layouts how it’s done or what?”

As Grid stood by his side, getting ready to confront the old layouts, Flexbox felt his confidence returning. Block scoffed, “Two against four? You don’t stand a chance!”

<div class="content-ad"></div>

갑자기 한 명이 위에서 외쳤어요, "세 명으로 바꿔주세요!" 포근한 망토를 입은 모습이 하늘에서 내려와, Flexbox와 Grid 사이에 멋있게 착지했어요.

"CSS-맨!" 모두가 한꺼번에 소리쳤죠.

웹 디자인의 전설적인 슈퍼히어로인 CSS-맨은 자세를 취했어요. "레이아웃 동네에 문제가 있다고 듣고 왔어요. 속성 기반의 전투를 위해 시간도 딱 맞춰 도착한 것 같네요!"

Block Element가 돌진했지만, CSS-맨은 눈썹만 들어 올려서 "Transform: rotate(180deg)!"라고 선언했어요. Block은 둥글둥글 돌아가면서 어지러워하며 혼란스러워졌어요.

<div class="content-ad"></div>

테이블 레이아웃은 복잡한 중첩 구조로 그들을 갇으려 했지만, 그리드는 단순히 웃었습니다. “제가 그런 복잡한 레이아웃을 아침밥으로 먹어버려요!” 손을 휘두르는 것만으로 테이블의 셀들을 아름다운 모자이크로 재배치했답니다. 

플로트는 떠나려 했지만 플렉스박스가 더 빨랐어요. “아니야, 너는 안 돼! Align-items: center!” 그가 공중에 떠다니는 플로트를 잡아다가 그 자리에 놓았어요.

인라인-블록은 상대에 비해 미치지 못한다는 것을 깨달았고, “Display: none” 해보려 했지만 CSS맨은 빠르게 그를 집어잡았어요.

먼지가 내려앉을 때, 옛날 레이아웃들의 무리는 자신들만의 구식 코드 속에서 패배하고 얽히고 말았어요.

<div class="content-ad"></div>

"음, 그러면," CSS-맨이 망토를 털어내며 말했다, "잘 정리된 스타일 시트보다 더 깔끔하게 마무리된 것 같군요."

그리드는 눈 속에 빛이 나는 플렉스박스를 쳐다보며 말했습니다. "알았어, 플렉스박스, 나 우리 꽤 좋은 팀인 것 같아. 커피 한 잔 사러 가서 레이아웃 전략 좀 이야기해볼까?"

플렉스박스는 기쁨에 폭발할 것 같이 컨테이너가 커지며 부빗했습니다. "좋아, 좋아. 하지만 테이블은 어떻게 할 거에요? 너희 둘이 사이 좋은 줄 알았는데."

그리드는 웃었습니다. "이제, 그 관계는 인터넷 익스플로러만큼 안정적이지 않았어. 게다가, 나는 유연한 타입에 더 매력을 느꼈거든."

<div class="content-ad"></div>

함께 걸어나가면서 CSS-Man이 그들 뒤에서 외쳤어요, "기억해, 친구들: 위대한 힘에는 위대한 반응이 따른다고!"

그때 숙취 중인 블록 요소가 일어나서 머리를 문지르며 말했어요. "어떻게 된 거죠? 누가 나한테 부딪힌 미디어 쿼리의 번호판을 확인했어요?"

CSS-Man이 웃으며 블록을 일으켜 세우면서 말했어요. "자, 노인아. 집에 데려다줄게. 우아한 저하에 대해 얘기해야 할 때인 것 같아."

그리고 해가 뜨기 시작함에 따라 배경 색상이 어두운 회색에서 따뜻한 주황색으로 변하는 시점에, 우리 영웅들은 웹 디자인의 새로운 하루에 서서히 떠나갔어요. 거리는 다시 한 번 현대적인 레이아웃에 안전하며, 어딘가에서 웹 개발자 한 명이 잠에서 깨어나, 자신의 스타일시트가 올바르게 렌더링될 것임을 당당히 모르고 다시 일어났답니다.

<div class="content-ad"></div>

끝인가요... 아니죠? 웹 디자인 세계에서는 항상 새로운 업데이트가 바로 다가오고 있습니다!

Flexbox로 CSS 레이아웃을 쉽게 배치하는 방법



<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_0.png" />

오랜 시간 동안 CSS 레이아웃을 만드는 데 사용할 수있는 유일한 도구는 float 및 positioning과 같은 기능이었습니다.

그러나 일부 레이아웃 디자인은 다음과 같은 도구로 어렵게 달성되었습니다:

- 부모 요소 내에 콘텐츠 블록을 수직 가운데 정렬하기
- 컨테이너의 모든 자식 요소가 사용 가능한 너비 또는 높이의 동일한 양을 차지하도록 만들기
- 서로 다른 양의 내용을 포함하고 있더라도 모든 열이 동일한 높이를 채택하도록 만들기

<div class="content-ad"></div>


![Flexbox](/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_1.png)

이 게시물을 보면, 플렉스박스가 이러한 레이아웃 작업을 훨씬 쉽게 만든다는 것을 알 수 있을 거에요.

## Display: Flex: The Switch

좋아요, 컨테이너 `div`안에 몇 가지 요소가 있다고 상상해보세요:


<div class="content-ad"></div>

```js
<div class="container">
    <div class="item">1</div>
    <div class="item">2</div>
    <div class="item">3</div>
</div>
```

Flexbox 레이아웃을 활성화하려면 컨테이너 div에 display: flex를 추가하면 됩니다.

```js
.container {
    display: flex;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_2.png" />


<div class="content-ad"></div>

그렇게 해서 당신은 보이지 않는 두 개의 축을 만들었습니다:

- Main Axis: 여기서 요소들이 주로 정렬됩니다. (기본적으로 수평행)
- Cross Axis: 이것은 보조 방향으로, 주 축에 대해 90도 방향에 있습니다. (기본적으로 수직 열을 생각하십시오)

## 플렉스 방향: 흐름 변경

이 축들의 흐름을 변경하는 또 다른 속성이 있습니다 - flex-direction이며 기본적으로 row로 설정되어 있습니다. 이것은 항목이 왼쪽에서 오른쪽으로 수평으로 흐른다는 것을 의미합니다.

<div class="content-ad"></div>

하지만 요소들이 수직으로 쌓이기를 원한다면 flex-direction 속성을 column으로 설정할 수 있어요.

```js
.container {
    display: flex;
    flex-direction: column;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_3.png" />

하지만 알다시피, Flexbox는 유연합니다. 어느 축이든 순서를 반대로도 바꿀 수 있어요.

<div class="content-ad"></div>

- column-reverse: 요소가 아래에서 위로 수직적으로 흐릅니다.
- row-reverse: 요소가 오른쪽에서 왼쪽으로 수평적으로 흐릅니다.

## Justify Content: 주축 조절하기

주축을 따라 요소를 정렬하기 위해 justify-content 속성을 사용합니다.

기본적으로 이는 flex-start로 설정되어 있으며, 요소들은 주축의 시작 부분에서 모여 있습니다.

<div class="content-ad"></div>

```js
.container {
    display: flex;
    flex-direction: row;
    justify-content: flex-start;
}
```

다음은 이 속성에 사용할 수 있는 잠재적인 값입니다:

![flexbox](/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_4.png)

- flex-end: 항목이 주축 끝에 정렬됩니다.
- center: 항목이 공손하게 중앙에 모인다.
- space-between: 항목이 처음 항목이 시작 부분에 닿고 마지막 항목이 끝 부분에 닿게 균등하게 펼쳐집니다.
- space-around: space-between과 유사하지만 각 항목 주변에 동일한 공간이있는 공간이 있습니다 (가장자리 포함).
- space-evenly: 각 항목이 모든 측면에 정확히 동일한 양의 공간을 얻습니다.

<div class="content-ad"></div>

## 항목 정렬: 교차 축 제어

교차 축을 제어하기 위해서는 align-items 속성을 사용합니다.

align-items의 기본값은 stretch이며, 이는 항목들이 교차 축을 채우기 위해 늘어나도록합니다.

```js
.container {
    display: flex;
    flex-direction: row;
    justify-content: flex-start;
    align-items: stretch;
}
```

<div class="content-ad"></div>

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_5.png" />

- flex-start: 아이템은 교차 축의 시작점에 정렬됩니다.
- flex-end: 아이템은 교차 축의 끝에 정렬됩니다.
- center: 아이템은 교차 축의 중앙에 정렬됩니다.
- baseline: 아이템은 텍스트 기준선을 기준으로 정렬됩니다.

핵심 포인트 — 축을 기억하세요: 이해해야 할 가장 중요한 것은 justify-content가 주축을, align-items가 교차 축을 제어한다는 것입니다. 이 개념을 이해하면 Flexbox가 매우 쉬워집니다!

## Gap 속성

<div class="content-ad"></div>

플렉스박스 레이아웃을 사용하면 요소에 수동으로 여백을 추가할 필요가 없어요. 갭 속성을 사용하면 항목 간의 간격을 제어하여 모든 요소 사이에 즉시 간격을 적용할 수 있어요.

```css
.container {
    display: flex;
    flex-direction: row;
    justify-content: center;
    align-items: center;
    gap: 30px;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_6.png" />

## 플렉스 랩: 갈림길 피하기

<div class="content-ad"></div>

기본적으로 플렉스 아이템들은 한 줄로 뭉쳐집니다. 그러나 flex-wrap: wrap을 사용하면 우아하게 새 줄로 흐를 수 있어요.

```js
.container {
    display: flex;
    flex-wrap: wrap;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_7.png" />

- nowrap (기본): 모든 아이템이 한 줄에 남아 있습니다.
- wrap: 필요한 경우 아이템이 여러 줄로 분리됩니다.
- wrap-reverse: 아이템이 역순으로 여러 줄로 분리됩니다.

<div class="content-ad"></div>

## 콘텐츠 정렬: 감싼 행의 간격 제어하기

flex-wrap를 wrap으로 설정하면 새로운 속성인 align-content를 사용할 수 있습니다. 이를 통해 감싼 행의 간격을 제어할 수 있습니다.

안에 든 행에 대해 justify-content와 비슷하게 작동하지만 여러 행에 적용됩니다:

![image](/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_8.png)

<div class="content-ad"></div>

- flex-start: 줄이 시작 부분으로 정렬됩니다.
- flex-end: 줄이 끝 부분으로 정렬됩니다.
- center: 줄이 가운데로 정렬됩니다.
- space-between: 간격이 같게 해서 줄이 퍼져 나갑니다.
- space-around: 간격을 동일하게 유지하여 줄이 퍼져 나갑니다.
- stretch (기본값): 줄이 컨테이너를 채우도록 늘어납니다.

## 개별 항목을 위한 Flexbox 속성

Flexbox는 컨테이너에서 끝나지 않습니다. 우리는 개별 항목에도 스타일을 적용할 수 있습니다:

align-self 도구를 사용하여 특정 항목에 대한 align-items 설정을 무시할 수 있습니다.

<div class="content-ad"></div>

일부 요소를 가운데 정렬하고 다른 요소들은 상단에 위치하도록 하려면 다음과 같이 작성하세요.

```css
.item:nth-child(3) {
    align-self: center;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_9.png" />

다른 가능한 값들은 아래와 같습니다.

<div class="content-ad"></div>

- auto (기본값): 부모 컨테이너의 align-items 값을 상속합니다.
- flex-start: 교차 축의 시작 부분에 정렬합니다.
- flex-end: 교차 축의 끝 부분에 정렬합니다.
- center: 항목을 교차 축의 가운데에 정렬합니다.
- baseline: 항목의 기준선을 다른 기준선과 맞춥니다.
- stretch: 항목을 교차 축을 채우도록 늘립니다 (높이가 설정되지 않은 경우).

## Flex Grow: 늘기 원하는 정도

이것을 항목이 성장하기 원하는 정도로 생각해보세요. 이는 항목이 형제 항목들에 비해 얼마나 추가 공간을 차지해야 하는지를 제어합니다. 숫자가 높을수록 추가 공간을 더 많이 차지할 것입니다.

예를 들어:

<div class="content-ad"></div>

```js
.item:nth-child(1) {
    flex-grow: 0; // 기본 값
}
.item:nth-child(2) {
    flex-grow: 1;
}
.item:nth-child(3) {
    flex-grow: 2;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_10.png" />

이 경우, 1번 아이템은 전혀 늘어나지 않습니다. 2번 아이템은 사용 가능한 공간의 동등한 부분을 차지하게 되고, 3번 아이템은 2번 아이템보다 사용 가능한 공간의 두 배를 차지하게 됩니다.

## Flex Shrink: 축소 용의성

<div class="content-ad"></div>

아이템의 축소 의향과 관련된 것이에요. 공간이 부족할 때 아이템이 얼마나 축소될지를 제어해요. 숫자가 높을수록 더 쉽게 축소돼요.

- flex-shrink: 1 (기본값): 필요하다면 아이템이 비례해서 축소돼요.
- flex-shrink: 0: 아이템이 얼마나 overflow가 발생하더라도 축소하려 하지 않아요.

예를 들어, 첫 번째와 마지막 아이템을 축소하지 않도록 설정할 수 있어요:

```js
.item:nth-child(1) {
    flex-shrink: 0;
}

.item:nth-child(6) {
    flex-shrink: 0;
}
```

<div class="content-ad"></div>


![Flex Basis](/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_11.png)

## Flex Basis

이 설정은 여분의 공간이 분배되기 전에 항목의 초기 크기를 설정합니다. 항목의 시작점으로 생각할 수 있습니다.

```js
.item:nth-child(4) {
    flex-basis: 50%;
}
```

<div class="content-ad"></div>


![Flexbox](/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_12.png)

특정 길이(예: 200px 또는 30%) 또는 auto(아이템의 컨텐츠 크기 사용)나 content(컨텐츠의 최소 크기 사용)와 같은 키워드로 설정할 수 있습니다.

## 보너스 팁: Flex Shorthand

flex-grow, flex-shrink 및 flex-basis를 별도로 작성하는 대신 매우 편리한 flex shorthand 속성을 사용할 수 있습니다.


<div class="content-ad"></div>

위 단축어를 사용하면 동일한 효과를 얻을 수 있어요:

```js
.item:nth-child(4) {
    flex: 1 0 0;
}
```

단축어에서 값의 순서가 중요해요. 이 경우에는 flex-grow를 1로, flex-shrink를 0으로, 그리고 flex-basis를 0으로 설정해요.

## 순서

<div class="content-ad"></div>

그리고 마지막으로, 아이템의 시각적 순서를 변경하는 order 속성이 있습니다. 숫자를 취하며, 낮은 숫자일수록 먼저 나타납니다.

```js
.item:nth-child(1) {
    order: 1;
}
.item:nth-child(6) {
    order: -1;
}
```

<img src="/assets/img/2024-08-26-LearnCSSFlexboxtheeasyway_13.png" />

그러나 논리적인 순서를 변경하기 위해 order에만 의존하면 접근성에 영향을 줄 수 있습니다. 이는 스크린 리더 및 키보드 탐색이 소스 코드 순서를 따르기 때문입니다.

<div class="content-ad"></div>

여기 Flexbox 사용법을 정리한 무료 치트시트입니다.

만약 이 게시물이 도움이 되었다면, 무료 HTML 및 CSS 강좌도 확인해보세요.

CSS Flexbox를 가장 쉽게 배우는 방법



# 안녕하세요 여러분! 👋

저는 30일 동안 30개의 프로젝트에 도전하기로 결정한 것을 열정적으로 발표할 준비가 되었습니다. 다음 한 달 동안 매일 HTML 및 CSS 프로젝트를 하나씩 만들어 여러분과 공유할 것입니다. 초보자로서 영감을 찾거나 숙련된 코더로서 참여하고 싶은 경우 모두를 위한 것입니다!

# 왜 이 도전인가요?

지난 몇 달 동안 HTML과 CSS에 대해 조금씩 시도해오고 있지만, 많은 것을 배웠음에도 불구하고 더 나아가기 위해 기술을 더욱 발전시키고 싶었습니다. 개발하는 것으로 배우고, 실험하고, 그 과정에서 문제를 해결함으로써 개선할 수 있는 최상의 방법이라고 믿습니다. 이 도전은 두 언어 모두에서 실력을 향상시키는 완벽한 방법이자 재미와 창의성을 유지하면서 발전하기 위한 좋은 계기입니다.

<div class="content-ad"></div>

# 어떤 것을 기대할 수 있나요?

매일 새로운 프로젝트에 도전할 거에요 — 어떤 것은 간단할 수도 있고, 어떤 것은 복잡할 수도 있어요. 프로젝트를 진행하는 동안 배운 내용과 코드 조각, 설명을 담은 블로그 포스트를 공유할 거에요. 더불어, 각 프로젝트를 만드는 과정을 단계별로 볼 수 있는 동영상도 제 YouTube 채널에 업로드할 거에요.

# 여러분의 아이디어를 나눠주세요!

여러분의 아이디어와 제안을 듣고 싶어요. 보고 싶은 프로젝트가 있거나 제가 만들어볼 만한 것이 있다면 댓글을 남기거나 메시지를 보내주세요! 여러분의 피드백은 챌린지의 방향을 결정하고 더욱 흥미로운 경험을 만들어낼 거에요.

<div class="content-ad"></div>

# 함께 참여해요! 🚀

내 프로젝트를 소개할 뿐만 아니라, 여러분도 함께 참여하길 원해요! 여러분들이 HTML과 CSS 프로젝트를 진행 중이라면, 댓글로 공유하시거나 소셜 미디어에서 제 태그를 걸어주세요. 함께 성장하고 배우는 즐거움을 누려봐요 — 제 설명을 따라하거나 독자적인 도전을 진행하더라도요!

# YouTube에서 함께하기

시각적으로 학습하는 것을 선호하신다면, 내 YouTube 채널을 구독해주세요. 여기서는 각 프로젝트를 자습서와 통찰을 적용하여 기록할 거예요. 누군가가 프로젝트를 만들 때를 지켜보는 것은 종종 새로운 아이디어를 얻게 하고 코딩 과제에 접근하는 방법을 보여줄 수 있어요.

<div class="content-ad"></div>

# 마무리 글

이 30일 동안의 여정을 정말로 기대하고 있어요! 창의성, 코딩, 문제 해결의 속박이 될 거예요. 영감을 얻기 위해 오셨든, 팁을 얻기 위해 오셨든, 자신의 작품을 공유하기 위해 오셨든, 우리가 무엇을 만들어 낼지 정말로 기대돼요.

곧 나올 프로젝트 #1을 기대해 주세요!

다음 30일을 대규모 성장과 창의성의 기간으로 만들어 봅시다. 여러분의 생각, 제안 또는 여러분의 프로젝트 링크를 남겨주세요. 도전의 끝에서 만나요! 💻✨

도전 30일간 30개 프로젝트 완료하기



## 파이썬에서 가장 빠른 구현🐍

<img src="/assets/img/2024-08-26-DBSCANExplainedin5Minutes_0.png" />

DBSCAN이란 무엇인가요? 파이썬에서는 어떻게 구현할까요? 이 주제를 다룬 많은 기사들이 있지만, 알고리즘 자체가 너무 간단하고 직관적이라서 그 아이디어를 단 5분 안에 설명할 수 있다고 생각합니다. 그러니 한번 해보도록 합시다.

## 무슨 의미인가요?

<div class="content-ad"></div>

- 알고리즘은 물체 간의 공간적 거리를 기반으로 데이터 내부 클러스터를 탐색합니다.
- 알고리즘은 이상치(노이즈)를 식별할 수 있습니다.

## 그럼 DBSCAN이 왜 필요할까요???

- 새로운 특징 추출. 다루고 있는 데이터셋이 큰 경우, 데이터 내부의 명백한 클러스터를 찾고 각 클러스터를 따로 처리하는 것이 도움이 될 수 있습니다(다른 클러스터에 대해 각각의 모델을 훈련시킵니다).
- 데이터 압축. 종종 수백만 개의 행을 다뤄야하는데, 계산 비용이 많이 들고 시간이 많이 소요됩니다. 데이터를 클러스터링한 다음 각 클러스터에서 X%만 유지하는 것은 데이터 과학 영혼을 구원할 수 있습니다. 따라서 데이터셋 내부의 균형은 유지하면서 크기를 줄일 수 있습니다.
- 신규성 탐지. DBSCAN은 노이즈를 감지한다고 언급되었지만, 이 노이즈는 데이터셋의 이전에 알려지지 않은 특징일 수 있으며, 이를 보존하고 모델링에 사용할 수 있습니다.

그런 다음 이렇게 말씀하실 수 있습니다: 하지만, 우수하고 효과적인 k-means 알고리즘이 있잖아요.

<div class="content-ad"></div>

네, 하지만 DBSCAN의 가장 달콤한 부분은 k-평균의 단점을 극복하며 클러스터 수를 지정할 필요가 없다는 것입니다. DBSCAN은 대신 클러스터를 감지해줍니다!

DBSCAN에는 사용자에 의해 정의된 두 가지 구성 요소가 있습니다: 인근성 또는 반경 (𝜀) 및 이웃의 수(N).

일부 객체로 구성된 데이터셋의 경우, 이 알고리즘은 다음 아이디어에 기반합니다:

- 핵심 객체. 객체는 거리 𝜀 내에서 적어도 N개의 다른 객체를 가지고 있으면 핵심 객체라고합니다.
- 핵심 포인트의 𝜀-인근에 위치한 비-핵심 객체는 테두리 객체라고합니다.
- 핵심 객체는 인근의 모든 핵심 및 테두리 객체와 클러스터를 형성합니다.
- 객체가 핵심도 테두리도 아닌 경우 잡음 (이상치)이라고합니다. 그것은 어떤 클러스터에도 속해 있지 않습니다.

<div class="content-ad"></div>

DBSCAN을 구현하려면 거리 함수를 생성해야 합니다. 이 글에서는 유클리드 거리를 사용할 것입니다:

![image](/assets/img/2024-08-26-DBSCANExplainedin5Minutes_1.png)

우리 알고리즘을 위한 의사코드는 다음과 같습니다:

![image](/assets/img/2024-08-26-DBSCANExplainedin5Minutes_2.png)

<div class="content-ad"></div>

거리 함수부터 시작해봅시다:

```js
def distances(object, data):
  euclidean = []
  for row in data: # 데이터 세트의 모든 객체를 반복
    d = 0
    for i in range(data.shape[1]): # 모든 좌표의 제곱 잔차 합계 계산
      d += (row[i] - object[i])**2
    euclidean.append(d**0.5) # 제곱근 취하기
  return np.array(euclidean)
```

이제 알고리즘의 본문을 만들어 봅시다:

```js
def DBSCAN(data, epsilon=0.5, N=3):
  visited, noise = [], [] # 방문한 점과 이상점을 수집하는 리스트
  clusters = [] # 클러스터를 수집하는 리스트
  for i in range(data.shape[0]): # 모든 점을 반복
    if i not in visited: # 방문하지 않은 경우에 들어갑니다
      visited.append(i)
      d = distances(data[i], data) # 다른 모든 점으로부터의 거리 가져오기
      neighbors = list(np.where((d <= epsilon) & (d != 0))[0]) # 입실론 주변의 이웃 목록 가져오기 및 거리 = 0(본인) 제거
      if len(neighbors) < N: # 객체 수가 N보다 작으면 이상점입니다
        noise.append(i)
      else:
        cluster = [i] # 그렇지 않으면 새 클러스터 형성
        for neighbor in neighbors: # 점 i의 모든 이웃을 반복
          if neighbor not in visited: # 이웃을 방문하지 않은 경우
            visited.append(neighbor)
            d = distances(data[neighbor], data) # 이웃으로부터의 다른 객체로의 거리 가져오기
            neighbors_idx = list(np.where((d <= epsilon) & (d != 0))[0]) # 이웃의 이웃 가져오기
            if len(neighbors_idx) >= N: # 이웃이 N개 이상의 이웃을 가지고 있으면 코어 포인트입니다
              neighbors += neighbors_idx # 이웃의 이웃을 i번째 객체의 이웃에 추가합니다.
          if not any(neighbor in cluster for cluster in clusters):
            cluster.append(neighbor) # 이웃이 클러스터에 없으면 추가합니다.
        clusters.append(cluster) # 클러스터를 클러스터 리스트에 넣습니다.

  return clusters, noise
```

<div class="content-ad"></div>

완료!

우리의 구현물의 정확성을 확인하고 sklearn과 비교해봅시다.

일부 합성 데이터를 생성해 봅시다:

```js
X1 = [[x,y] for x, y in zip(np.random.normal(6,1, 2000), np.random.normal(0,0.5, 2000))]
X2 = [[x,y] for x, y in zip(np.random.normal(10,2, 2000), np.random.normal(6,1, 2000))]
X3 = [[x,y] for x, y in zip(np.random.normal(-2,1, 2000), np.random.normal(4,2.5, 2000))]

fig, ax = plt.subplots()
ax.scatter([x[0] for x in X1], [y[1] for y in X1], s=40, c='#00b8ff', edgecolors='#133e7c', linewidth=0.5, alpha=0.8)
ax.scatter([x[0] for x in X2], [y[1] for y in X2], s=40, c='#00ff9f', edgecolors='#0abdc6', linewidth=0.5, alpha=0.8)
ax.scatter([x[0] for x in X3], [y[1] for y in X3], s=40, c='#d600ff', edgecolors='#ea00d9', linewidth=0.5, alpha=0.8)
ax.spines[['right', 'top', 'bottom', 'left']].set_visible(False)
ax.set_xticks([])
ax.set_yticks([])
ax.set_facecolor('black')
ax.patch.set_alpha(0.7)
```

<div class="content-ad"></div>

아래는 마크다운 형식의 코드입니다.


![DBSCAN implementation result 1](/assets/img/2024-08-26-DBSCANExplainedin5Minutes_3.png)

Implement and visualize the results as follows:

![DBSCAN implementation result 2](/assets/img/2024-08-26-DBSCANExplainedin5Minutes_4.png)

We obtained the same clusters using the sklearn implementation:


<div class="content-ad"></div>


![DBSCAN Explained in 5 Minutes](/assets/img/2024-08-26-DBSCANExplainedin5Minutes_5.png)

그렇죠, 둘이 완전 똑같죠요. 5분이면 끝이에요! DBSCAN을 직접 해보실 때는 epsilon과 이웃의 수를 조절하는 것을 잊지 말아주세요. 이 두 가지가 최종 결과에 큰 영향을 미치거든요.

===========================================

참고:


<div class="content-ad"></div>

[1] 에스터, 엠., 크리겔, 에이치.피., 산더, 제이., & 쉬, 엑스. (1996년 8월). 소음과 함께하는 응용 프로그램의 밀도 기반 공간 클러스터링. 지식 발견과 데이터 마이닝 국제 학회 (Vol. 240, №6).

[2] 양양 등. "반대 기반 학습을 활용한 산술 최적화 알고리즘에 의해 최적화된 효율적인 DBSCAN." 초고속 컴퓨팅 학술지 78.18 (2022): 19566-19604.

===========================================

제가 Medium에 게시한 모든 출판물은 무료이며 공개 접근이 가능합니다. 그래서 여기서 저를 팔로우해 주시면 정말 감사하겠습니다!

<div class="content-ad"></div>

P.s. 저는 (지오)데이터 과학, 기계 학습/인공 지능 및 기후 변화에 대해 열정적입니다. 따라서 어떤 프로젝트에서 함께 일하고 싶다면 LinkedIn에서 저에게 연락해주세요.

🛰️더 많은 정보를 원하시면 팔로우해주세요🛰️

Posts