구글 코랩 LLM 활용법, Gemini API부터 오픈소스 모델까지

AI GUIDE · COLAB 심화편

구글 코랩으로 LLM 직접 활용하기

Gemini API 호출부터 오픈소스 모델 실행까지, 코랩 심화 활용법

 

앞선 글 구글 코랩 완벽 가이드에서는 코랩의 기본 사용법을, LLM AI 활용법 총정리에서는 ChatGPT·Claude·Gemini 같은 LLM의 활용 분야를 정리했습니다. 이번 글은 두 글을 이어서, 코랩 안에서 LLM을 직접 불러 쓰는 방법을 다룹니다.

 

웹 채팅창에서 질문하던 방식에서 한 걸음 나아가 코드로 LLM을 호출하면, 반복 작업을 자동화하고 결과를 파일로 저장할 수 있습니다. 코랩은 설치 없이 바로 실습할 수 있어 이 과정을 시작하기에 가장 부담이 적은 환경입니다.

01

코랩에서 LLM을 쓰는 세 가지 방법

코랩에서 LLM을 활용하는 방식은 크게 세 가지로 나뉩니다. 목적과 환경에 맞게 골라 쓰시면 됩니다.

방법 1

코랩 내장 AI 어시스턴트

코드 생성과 오류 설명을 셀 안에서 바로 받을 수 있습니다. 키 발급이 필요 없어 가장 가볍게 시작할 수 있으며, 제공 기능과 이용 한도는 계정과 시기에 따라 다를 수 있습니다.

방법 2

API로 클라우드 LLM 호출

Gemini 같은 서비스를 API 키로 호출합니다. 연산은 서비스 측 서버가 처리하므로 코랩의 GPU가 필요 없고, 성능이 높은 모델을 그대로 쓸 수 있습니다.

방법 3

오픈소스 모델 직접 실행

Hugging Face에 공개된 모델을 코랩 GPU에 올려 실행합니다. 입력한 데이터가 외부 API로 전송되지 않고, 모델의 동작 방식을 직접 실험해 볼 수 있다는 장점이 있습니다.

02

내장 AI 어시스턴트 활용 요령

내장 어시스턴트는 코드를 처음부터 짜는 부담을 줄여 줍니다. 다음 세 가지만 기억하셔도 활용도가 크게 올라갑니다.

• 기능을 구체적으로 설명 — "CSV를 읽어 월별 합계를 막대그래프로 그려줘"처럼 입력과 출력을 함께 적습니다.
• 오류는 메시지째 전달 — 에러가 나면 메시지를 보여 주고 원인과 수정 방향을 물어봅니다.
• 실행 전 코드 검토 — 생성된 코드는 한 번 읽어 보고, 파일 삭제나 외부 전송 코드가 없는지 확인합니다.

03

API 키는 Secrets로 안전하게 관리하기

API를 쓰기 전에 가장 먼저 챙길 것은 키 관리입니다. 코드에 키를 직접 적으면 노트북을 공유하는 순간 함께 노출됩니다. 코랩에는 이를 막아 주는 Secrets(보안 비밀) 기능이 있습니다.

 

왼쪽 사이드바의 열쇠 아이콘을 눌러 새 비밀을 추가하고, 이름은 GEMINI_API_KEY처럼 정한 뒤 노트북 액세스를 켜 둡니다. 코드에서는 아래처럼 불러옵니다.

 

from google.colab import userdata
api_key = userdata.get('GEMINI_API_KEY')

04

Gemini API로 질문 보내기

키를 등록했다면 몇 줄만으로 LLM에 질문하고 답을 받을 수 있습니다. 모델명은 자주 바뀌므로 공식 문서에서 최신 값을 확인해 입력하시기 바랍니다.

!pip install -q google-genai

from google import genai
from google.colab import userdata

client = genai.Client(api_key=userdata.get('GEMINI_API_KEY'))
response = client.models.generate_content(
    model="gemini-2.5-flash",  # 최신 모델명은 공식 문서에서 확인
    contents="UV 언래핑을 초보자에게 세 문장으로 설명해줘",
)
print(response.text)

 

 

이 구조를 반복문과 결합하면 여러 문서를 한꺼번에 요약하거나, 제품 설명문 초안을 대량으로 만들고 결과를 CSV로 저장하는 식의 자동화가 가능합니다. 채팅창에서는 일일이 복사해야 했던 작업이 셀 한 번 실행으로 끝납니다.

05

코랩 + LLM 실무 활용 예시

호출 방법을 익혔다면 어디에 쓸지가 중요합니다. 코랩과 LLM을 함께 쓰면 특히 효과가 큰 작업은 같은 처리를 여러 번 반복하는 일입니다.

예시 1

문서 요약 자동화

회의록이나 보고서 텍스트를 반복문으로 넘겨 핵심만 요약하고, 결과를 표로 정리해 저장합니다.

예시 2

텍스트 분류·정리

고객 문의나 후기처럼 정리되지 않은 문장을 칭찬·불만·문의 같은 범주로 나누고 건수를 집계합니다.

예시 3

번역·교정 일괄 처리

영문 자료 수십 개를 한국어로 번역하거나, 문장을 일정한 어투로 교정하는 작업을 한 번에 돌립니다.

예시 4

코드 초안 작성과 검증

데이터 가공 코드를 LLM에게 초안으로 받고, 코랩에서 바로 실행해 결과를 확인하며 고쳐 나갑니다.

 

이런 작업에서는 프롬프트에 출력 형식을 명확히 지정하는 것이 핵심입니다. "표 형태로만 답해줘"처럼 형식을 정해 두면 결과를 코드로 후처리하기 쉬워지고, 같은 조건으로 여러 건을 일관되게 처리할 수 있습니다.

06

오픈소스 LLM을 코랩 GPU로 실행하기

먼저 메뉴의 '런타임 → 런타임 유형 변경'에서 T4 GPU를 선택합니다. 무료 GPU의 메모리는 약 16GB 수준이므로, 파라미터 수가 작은 모델부터 시도하시는 것이 좋습니다. GPU가 제대로 잡혔는지는 셀에 !nvidia-smi를 실행해 확인할 수 있습니다.

 

!pip install -q transformers accelerate

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="Qwen/Qwen2.5-1.5B-Instruct",
    device_map="auto",
)
messages = [{"role": "user", "content": "코랩이 무엇인지 두 문장으로 설명해줘"}]
result = pipe(messages, max_new_tokens=150)
print(result[0]["generated_text"][-1]["content"])

 

 

처음 실행할 때는 모델 파일을 내려받느라 시간이 걸립니다. 규모가 큰 모델은 메모리가 부족해 실행되지 않을 수 있으니, 작은 모델로 흐름을 익힌 뒤 단계적으로 키워 가시길 권합니다. 일부 모델은 Hugging Face에서 사용 동의 절차가 필요합니다.

07

세션 관리 실전 팁

LLM 실습 전에 점검할 네 가지

• 중간 저장 — 유휴 시간이 길어지면 세션이 끊기므로, 결과는 구글 드라이브에 수시로 저장합니다.
• GPU 가용성 — 무료 GPU는 항상 보장되지 않으므로, 연결이 안 되면 시간을 두고 다시 시도합니다.
• 모델 재설치 대비 — 런타임이 초기화되면 모델을 다시 받아야 하므로, 설치 셀을 맨 위에 모아 둡니다.
• 사용 후 연결 해제 — 작업이 끝나면 런타임 연결을 해제해 자원을 불필요하게 점유하지 않도록 합니다.

08

마무리 — 사용자에서 활용자로

정리하면, 코랩은 API 호출과 오픈소스 모델 실행을 모두 실습할 수 있는 환경입니다. 가볍게 시작하려면 API 방식이, 모델의 내부 동작을 직접 실험하려면 오픈소스 방식이 어울립니다.

 

다만 LLM의 답변은 사실과 다를 수 있으니, 수치와 날짜 같은 정보는 반드시 별도로 확인하셔야 합니다. 또한 개인정보나 사내 자료를 외부 API에 보낼 때는 서비스의 데이터 활용 정책을 먼저 살펴보시기 바랍니다.

 

💡 Tip

처음에는 API 방식으로 질문 한 줄을 보내는 것부터 시작해 보세요. 결과가 나오는 것을 확인한 뒤, 프롬프트를 바꿔 가며 반복문으로 확장하면 이해가 훨씬 빠릅니다.

 

https://caresser.tistory.com/217

구글 코랩(Google Colab) 완벽 가이드 | 무료 GPU로 파이썬 실습하기