본문으로 건너뛰기

huggingface에서 datasets으로 머신러닝 도전

huggingface에서 datasets으로 머신러닝 도전 본문 이미지

https://www.gpters.org/c/ai-developers/using-huggingface-dataset

위 글을 읽고 datasets으로 머신러닝에 도전해봤습니다.도전


https://huggingface.co/datasets/detection-datasets/coco

위 링크에 있는 dataset으로 도전해봤는데 실패했습니다.


colab에서 했는데요. 중간에 runtime 초기화되어서 실패했습니다.

from datasets import load_dataset
text_data = load_dataset("detection-datasets/coco")

이렇게 실행해보았는데요. dataset load하는데 1시간이 넘게 거렸습니다.

load dataset 하는데 너무 오래 걸리네요.

print(text_data)

print해보니

이렇게 나옵니다.

https://chat.openai.com/share/622bafc9-9473-41d4-abb6-0f451c5551a3

챗지피티로 머신러닝 하는법 알려달라고해서 시도해보았습니다.

from torchvision import transforms
from torch.utils.data import DataLoader, Dataset
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import torch
import numpy as np

# 데이터셋 클래스 정의
class CustomDataset(Dataset):
    def __init__(self, data):
        self.data = data

    def __len__(self):
        return len(self.data['image'])

    def __getitem__(self, idx):
        image = self.data['image'][idx]
        label = self.data['objects'][idx]  # 객체 정보를 레이블로 사용 (예시입니다)
        return image, label

그다음에

# 데이터셋 객체 생성
train_dataset = CustomDataset(img_data['train'])
val_dataset = CustomDataset(img_data['val'])

이렇게 train_datset하는데 run time error나면서 colab이 초기화 되었습니다.


쉽지가 않네요.

아래 내용으로 챗지피티에 소스코드 작성해달라고해서 따라한건데 실패했습니다.

import torch
from torchvision import transforms
from torch.utils.data import DataLoader, Dataset
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# CustomDataset 클래스 정의
class CustomDataset(Dataset):
    def __init__(self, data):
        self.data = data

    def __len__(self):
        return len(self.data['image_id'])

    def __getitem__(self, idx):
        image_id = self.data['image_id'][idx]
        image = self.data['image'][idx]
        width = self.data['width'][idx]
        height = self.data['height'][idx]
        objects = self.data['objects'][idx]
        return image, objects

# 데이터셋 객체 생성
train_dataset = CustomDataset(img_data['train'])
val_dataset = CustomDataset(img_data['val'])

# DataLoader 생성
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False)

# RandomForest 모델 생성
model = RandomForestClassifier()

# 모델 학습
train_features = []
train_labels = []
for images, labels in train_loader:
    # 이미지 데이터는 사용하지 않고 객체 정보만 사용
    train_features.append(labels.numpy())
train_features = torch.cat(train_features, dim=0)
train_labels = torch.tensor([1] * len(train_features))  # 레이블은 임의로 생성
model.fit(train_features, train_labels)

# 검증 데이터로 모델 평가
val_features = []
val_labels = []
for images, labels in val_loader:
    # 이미지 데이터는 사용하지 않고 객체 정보만 사용
    val_features.append(labels.numpy())
val_features = torch.cat(val_features, dim=0)
val_labels = torch.tensor([1] * len(val_features))  # 레이블은 임의로 생성
predictions = model.predict(val_features)
accuracy = accuracy_score(val_labels, predictions)
print("Validation Accuracy:", accuracy)

이상입니다.

#10기HuggingFace

#HuggingFace dataset 사용하기

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

GPTers 프로필 이미지
GPTers2024.04.04

챗지피티 5가 시급하네요 ㅎㅎㅎ 열심히 기다려 보아요 우리

GPTers 프로필 이미지
GPTers2024.04.04

챗지피티 5가 시급하네요 ㅎㅎㅎ 열심히 기다려 보아요 우리

Lion 프로필 이미지
Lion2024.04.02

개발하다 물어볼 수 있는 채찍피티 선생님이 있어서 참 좋네요! 나중에 저도 따라해보도록 해야겠습니다 ㅎㅎ

김영훈(리얼리) 프로필 이미지

실습한

hug_Untitled47.ipynb

ipynb파일

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기