02-ImageGeneration.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토큰 정보로드를 위한 라이브러리\n",
    "# 설치: pip install python-dotenv\n",
    "from dotenv import load_dotenv\n",
    "\n",
    "# 토큰 정보로드\n",
    "load_dotenv()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 🌱 DALL-E\n",
    "\n",
    "- 웹사이트: [DALL-E](https://labs.openai.com/)\n",
    "- 웹사이트에서 이미지를 업로드 하거나, 이미지를 생성하는 기능 구현이 잘 되어 있습니다.\n",
    "- in-painting, out-painting 도구도 함께 제공합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Client 생성\n",
    "\n",
    "- `client` 는 OpenAI 모듈로 생성된 인스턴스 입니다.\n",
    "\n",
    "[주의] 아래의 코드에서 오류가 난다면 API 키의 오류일 가능성이 높습니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "설치된 openai 버전 확인\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import openai\n",
    "\n",
    "print(f\"설치된 버전: {openai.__version__}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from openai import OpenAI\n",
    "\n",
    "client = OpenAI()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ① 이미지 생성\n",
    "\n",
    "- Reference: https://platform.openai.com/docs/guides/images/introduction?context=node\n",
    "- `model`\n",
    "  - 생성: 사용 가능한 모델은 `dall-e-3` 및 `dall-e-2`\n",
    "  - 편집(edit): `dall-e-2`\n",
    "  - 기준 이미지에 대한 다양화(variation): `dall-e-2`\n",
    "\n",
    "**이미지 크기**\n",
    "\n",
    "- `dall-e-2`\n",
    "  - `256x256`, `512x512`, `1024x1024`\n",
    "- `dall-e-3`\n",
    "  - `1024x1024`, `1792x1024`, `1024x1792`\n",
    "\n",
    "기본적으로 이미지는 표준 화질로 생성되지만, DALL-E 3을 사용할 때는 화질을 설정할 수 있습니다. \"HD\"로 설정하면 디테일이 향상됩니다. 정사각형의 표준 화질 이미지가 가장 빠르게 생성됩니다.\n",
    "\n",
    "**사진요청 개수**\n",
    "\n",
    "DALL-E 3을 사용하면 **한 번에 1개의 이미지를 요청** 할 수 있고(병렬 요청을 통해 더 많은 이미지를 요청할 수 있음), DALL-E 2를 사용하면 n 매개변수와 함께 **한 번에 최대 10개의 이미지를 요청** 할 수 있습니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 참고: https://dallery.gallery/the-dalle-2-prompt-book/\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# DALL-E 3 모델을 사용하여 이미지를 생성합니다.\n",
    "response = client.images.generate(\n",
    "    model=\"dall-e-3\",\n",
    "    prompt=\"A detailed neoclassicism painting depicting the frustration of being put on hold during a phone call(iphone)\",\n",
    "    size=\"1024x1024\",\n",
    "    quality=\"standard\",\n",
    "    n=1,\n",
    ")\n",
    "\n",
    "# 생성된 이미지의 URL을 저장합니다.\n",
    "image_url = response.data[0].url"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다운로드 받을 수 있는 이미지의 URL을 출력합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 생성된 이미지의 URL을 출력합니다.\n",
    "print(image_url)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "생성된 결과 (예시)\n",
    "\n",
    "<style>\n",
    ".container {\n",
    "  display: flex; /* Flexbox를 사용하여 요소들을 나란히 배치 */\n",
    "}\n",
    "\n",
    ".img-column {\n",
    "  flex: 1; /* 컨테이너 내의 공간을 동일하게 분배 */\n",
    "  padding: 10px; /* 이미지 사이에 약간의 공간을 두기 위한 패딩 */\n",
    "}\n",
    "\n",
    ".img-column img {\n",
    "  width: 100%; /* 이미지를 부모 요소의 크기에 맞춤 */\n",
    "  height: auto; /* 이미지의 비율을 유지 */\n",
    "}\n",
    "</style>\n",
    "\n",
    "<div class=\"container\">\n",
    "  <div class=\"img-column\">\n",
    "    <img src=\"data/generated_image1.jpg\" alt=\"Generated Image 1\">\n",
    "  </div>\n",
    "  <div class=\"img-column\">\n",
    "    <img src=\"data/generated_image2.jpg\" alt=\"Generated Image 2\">\n",
    "  </div>\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Jupyter Notebook 에서 출력하기 위하여 Image 를 사용합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from IPython.display import Image\n",
    "\n",
    "# 생성된 이미지를 출력합니다.\n",
    "Image(url=image_url, width=500)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`urllib` 라이브러리를 사용하여 이미지를 다운로드합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import urllib\n",
    "\n",
    "# 생성된 이미지를 URL로부터 다운로드하여 저장합니다.\n",
    "urllib.request.urlretrieve(image_url, \"generated_image.jpg\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### ✔️ DALLE-3 프롬프트 예시\n",
    "\n",
    "- 1️⃣ 예시 프롬프트:\n",
    "  - `a closeup of a female face with headphones in retro colors, synthwave style, 2d digital vector art`\n",
    "- 2️⃣ 예시 프롬프트:\n",
    "\n",
    "  - `A detailed neoclassicism painting depicting the frustration of being put on hold during a phone call(iphone)`\n",
    "\n",
    "- 더 많은 예시는 다음의 링크를 참고해 보세요:\n",
    "  - https://dallery.gallery/the-dalle-2-prompt-book/\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "response = client.images.generate(\n",
    "    model=\"dall-e-3\",\n",
    "    prompt=\"A sunlit indoor lounge area with a pool with clear water\"\n",
    "    \"and another pool with translucent pastel pink water, next\"\n",
    "    \" to a big window, digital art\",\n",
    "    size=\"1024x1024\",\n",
    "    quality=\"standard\",\n",
    "    n=1,\n",
    ")\n",
    "\n",
    "image_url = response.data[0].url"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "생성된 이미지를 출력합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(image_url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 생성된 이미지를 출력합니다.\n",
    "Image(url=image_url, width=500)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 생성된 이미지를 URL로부터 다운로드하여 저장합니다.\n",
    "urllib.request.urlretrieve(image_url, \"generated_image2.jpg\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ② 이미지 수정(Image Edit)\n",
    "\n",
    "- 도큐먼트: https://platform.openai.com/docs/api-reference/images/createEdit\n",
    "\n",
    "**주요 파라미터**\n",
    "\n",
    "- `mask`:\n",
    "  - 마스킹 영역은 완전히 투명한 영역(예: 알파가 0인 곳)이 이미지를 편집할 위치를 나타내는 추가 이미지입니다.\n",
    "  - 4MB 미만의 유효한 PNG 파일이어야 하며 이미지와 크기가 같아야 합니다.\n",
    "  - 마스킹한 영역에 대하여 다양한 버전의 이미지를 생성합니다.\n",
    "- `model`: 이미지 생성에 사용할 모델입니다. 현재 `dall-e-2` 만 지원됩니다.\n",
    "- `n`: 생성할 이미지의 개수입니다.\n",
    "- `size`: `256x256`, `512x512`, or `1024x1024`. 기본값은 `1024x1024` 입니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from openai import OpenAI\n",
    "\n",
    "client = OpenAI()\n",
    "\n",
    "response = client.images.edit(\n",
    "    model=\"dall-e-2\",\n",
    "    image=open(\"data/sample.png\", \"rb\"),\n",
    "    mask=open(\"data/sample-mask.png\", \"rb\"),\n",
    "    prompt=\"add a Christmas tree\",\n",
    "    n=1,\n",
    "    size=\"1024x1024\",\n",
    ")\n",
    "\n",
    "image_url = response.data[0].url"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이전의 코드에서 작성한 프롬프트는 마치 사진과 같은 Photorealistic 이미지를 생성하기 위하여 카메라 렌즈 정보를 추가해 주었습니다. 이렇게 카메라 렌즈, 화각, 조리개 값등을 넣어 마치 사진으로 촬영한 듯한 이미지를 생성할 수 있습니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "원본 이미지는 다음과 같습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 원본 이미지를 출력합니다.\n",
    "Image(url=\"data/sample.png\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다음은 마스킹한 이미지입니다. 마스킹은 photopea 에서 쉽게 진행할 수 있습니다.\n",
    "\n",
    "- [photopea 링크](https://photopea.com/)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 마스킹된 이미지를 출력합니다.\n",
    "Image(url=\"data/sample-mask.png\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "마지막으로 마스킹된 영역을 크리스마스 트리로 채운 결과 이미지 입니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 생성된 이미지를 URL로부터 다운로드하여 저장합니다.\n",
    "urllib.request.urlretrieve(image_url, \"edited_output.png\")\n",
    "\n",
    "# 생성된 이미지를 출력합니다.\n",
    "Image(url=\"edited_output.png\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ③ 다양한 버전의 이미지 생성(Image Variation)\n",
    "\n",
    "주어진 이미지의 변형을 생성합니다.\n",
    "\n",
    "- 도큐먼트: https://platform.openai.com/docs/api-reference/images/createVariation\n",
    "\n",
    "주요 파라미터\n",
    "\n",
    "- `image`: 변형의 기준으로 사용할 이미지입니다. 4MB 미만의 유효한 `PNG` 파일이어야 하며 `정사각형` 이어야 합니다.\n",
    "- `model`: 이미지 생성에 사용할 모델입니다. 현재 `dall-e-2` 만 지원됩니다.\n",
    "- `n`: 생성할 이미지의 개수입니다.\n",
    "- `size`: `256x256`, `512x512`, or `1024x1024`. 기본값은 `1024x1024` 입니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "number_of_variations = 2\n",
    "image_size = \"512x512\"\n",
    "\n",
    "response = client.images.create_variation(\n",
    "    image=open(\"data/generated_image_porche.png\", \"rb\"),  # 기준 이미지\n",
    "    n=number_of_variations,  # 생성할 이미지의 개수\n",
    "    size=image_size,  # 생성할 이미지의 크기\n",
    ")\n",
    "\n",
    "image_url = response.data[0].url"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "생성된 이미지를 출력합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "from matplotlib.image import imread\n",
    "\n",
    "\n",
    "fig, ax = plt.subplots(1, number_of_variations, figsize=(8, 8 * number_of_variations))\n",
    "\n",
    "for i in range(1, number_of_variations + 1):\n",
    "    filename = f\"variated_image_{i}.jpg\"\n",
    "    i -= 1\n",
    "    urllib.request.urlretrieve(response.data[i].url, filename)\n",
    "    img = imread(filename)\n",
    "    ax[i].imshow(img)\n",
    "    ax[i].axis(\"off\")\n",
    "    ax[i].set_title(f\"Variation {i+1}\")\n",
    "\n",
    "plt.tight_layout()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}