Статья, главным образом, состоит из двух частей: описания проблемы и описания ее решения. Если сама проблема вас не интересует, первый раздел можно пропустить без ущерба для себя либо животных. Или вообще можно всю статью пропустить.

Идентифицируем проблему

В начале вас ждет небольшое, но важное вступление. Оно поможет увидеть как я докопался до сути проблемы и затем, перешел к ее решению.

Я разработчик и я предпочитаю проводить время со своим компьютером. Но все же иногда мне нужно выходить из дома, вы знаете, делать все те вещи, что делают другие люди. И вот однажды, возвращаясь домой со своей сумкой продуктов я увидел некоторую картину: группа людей с плакатами на которых написано “Save animals”. Как я уже говорил, я разработчик и прекрасно понимаю английский. Они, очевидно, хотели сохранить животных. И раз столько людей собрались вместе - это очень серьезная проблема, подумал я.

Эти люди не знали кто только что прошел мимо них. Я разработчик - один из тех людей которые делают мир лучше. И я намерен решить их проблему.

Хотя было кое-что, что воспрепятствовало мне тут же приступить к самому решению. Этим фактором было непонимание данной проблемы. Я ведь с детства интересовался компьютерами, а животные меня не слишком привлекали. Но это не беда, ведь у нас есть ChatGPT. Всего-то нужно задать ему правильный вопрос. И вот полученный ответ, понятный мне как инженеру:

Если подойти к этому вопросу чисто с технической стороны, я бы предположил что термин “животные” может относиться к набору данных или категорий в компьютерной системе. В этом контексте, “сохранить животных” может означать сохранение и защиту информации или данных внутри приложения или базы данных.

ChatGPT

Правда ChatGPT замечательная вещь? Немного помучал его вопросами, и он выдал нужный мне ответ. Теперь все стало понятно: этим людям нужно решение, которое позволит им сохранять изображения котов, собак или других животных. 

Ну что же, проблема идентифицирована и мы наконец-то можем приступить к ее решению.

Реализуем решение

Давайте определимся с требованиями к нашему приложению. Наш сервис сохранения животных будет доступен по HTTP. Он будет принимать POST запрос с одним или несколькими файлами изображений животных. Также мы будем использовать путь нашего URL для целей категоризации изображений животных. 

В итоге, моя инфраструктура будет выглядеть наподобие той что на диаграмме ниже.

Первое чем было решено заняться - это процессинг файлов. Естественно, я имею вполне нормальное желание сделать все быстро. Всю работу связанную с файлам я скину на небольшой сервис под названием Capyfile, код которого можно найти на GitHub. Ему нужно вскормить небольшой конфигурационный файл, которых скажет что я хочу делать с загружаемыми файлам. Мой конфиг выглядит так:

{
  "version": "1.0",
  "name": "upload",
  "processors": [
    {
      "name": "animal",
      "operations": [
        {
          "name": "file_size_validate",
          "params": {
            "maxFileSize": {
              "sourceType": "http_header",
              "source": "X-Capyfile-FileSizeValidate-MaxFileSize"
            }
          }
        },
        {
          "name": "file_type_validate",
          "params": {
            "allowedMimeTypes": {
              "sourceType": "http_header",
              "source": "X-Capyfile-FileTypeValidate-AllowedMimeTypes"
            }
          }
        },
        {
          "name": "metadata_cleanup"
        },
        {
          "name": "image_convert",
          "params": {
            "toMimeType": {
              "sourceType": "value",
              "source": "image/jpeg"
            },
            "quality": {
              "sourceType": "value",
              "source": "high"
            }
          }
        },
        {
          "name": "s3_upload",
          "params": {
            "accessKeyId": {
              "sourceType": "secret",
              "source": "aws_access_key_id"
            },
            "secretAccessKey": {
              "sourceType": "secret",
              "source": "aws_secret_access_key"
            },
            "endpoint": {
              "sourceType": "env_var",
              "source": "AWS_ENDPOINT"
            },
            "region": {
              "sourceType": "env_var",
              "source": "AWS_REGION"
            },
            "bucket": {
              "sourceType": "http_header",
              "source": "X-Capyfile-S3Upload-Bucket"
            }
          }
        }
      ]
    }
  ]
}

Из него ясно, что я хочу сделать с каждым загруженным файлом:

• Проверить размер файла

• Проверить MIME-тип файла

• Очистить метаданные файла

• Конвертировать файл в JPEG формат

• Сохранить файл в совместимое с S3 хранилище

Некоторые из необходимых параметров будут пробрасываться из приложения которое я напишу далее. Другие же параметры будут получены из окружения Docker контейнера.

Теперь финальная часть - написание приложения, которое будет содержит некую бизнес-логику удовлетворяющую моим требованиям. По большей части, оно будет проксировать запросы, попутно обогащая их нужными параметрами. Эти параметры будут говорить Capyfile как проверять файлы и где эти файлы сохранять.

package main

import (
    "net/http"
    "net/http/httputil"
    "net/url"
    "strconv"
    "strings"
)

const (
    Byte = 1 << (iota * 10)
    KiByte
    MiByte
    GiByte
    TiByte
    PiByte
    EiByte
)

func main() {
    http.HandleFunc("/", capyfileProxyHandler)

    http.ListenAndServe(":8080", nil)
}

func capyfileProxyHandler(w http.ResponseWriter, r *http.Request) {
    if r.Method != http.MethodPost {
        w.WriteHeader(http.StatusMethodNotAllowed)
        return
    }

    path := strings.Split(
        strings.TrimLeft(r.URL.Path, "/"),
        "/")

    if len(path) != 1 {
        w.WriteHeader(http.StatusNotFound)
        return
    }

    animal := path[0]

    if animal == "seagull" {
        w.WriteHeader(http.StatusForbidden)
        return
    }

    if animal == "capybara" {
        r.Header.Set(
            "X-Capyfile-FileSizeValidate-MaxFileSize",
            strconv.Itoa(100*MiByte))
        r.Header.Set(
            "X-Capyfile-FileTypeValidate-AllowedMimeTypes",
            `["image/jpeg", "image/png", "image/gif", "image/bmp", "image/webp", "image/heic", "image/heif"]`)
    } else {
        r.Header.Set(
            "X-Capyfile-FileSizeValidate-MaxFileSize",
            strconv.Itoa(1*MiByte))
        r.Header.Set(
            "X-Capyfile-FileTypeValidate-AllowedMimeTypes",
            `["image/jpeg", "image/png"]`)
    }
    // We assume that all the necessary buckets are already created 
    // or can be created on the fly.
    r.Header.Set("X-Capyfile-S3Upload-Bucket", animal)

    r.URL.Path = "/upload/animal"

    proxy := httputil.NewSingleHostReverseProxy(&url.URL{
        Scheme: "http",
        Host:   "localhost:8024",
    })
    proxy.ServeHTTP(w, r)
}

Запускаем и тестируем

Первым делом, мы запустим Capyfile сервер:

docker run --rm \
    --name capyfile_server \
    --mount type=bind,source=./service-definition.json,target=/etc/capyfile/service-definition.json \
    --env CAPYFILE_SERVICE_DEFINITION_FILE=/etc/capyfile/service-definition.json \
    --env AWS_ENDPOINT=s3.amazonaws.com \
    --env AWS_REGION=us-west-1 \
    --secret aws_access_key_id \
    --secret aws_secret_access_key \
    -p 8024:8024 \
    capyfile/capysvr:latest

Затем запускаем наше приложение:

go run animal_saver.go

Теперь все готово для сохранения животных в S3 хранилище.

Заключение

Здесь вы могли увидеть как легко я решил проблему сохранения животных. 

Также вы не могли не заметить, что Capyfile существенно ускорил разработку данного решения. Поэтому хочу побудить вас оказать этому проекту свою поддержку. С благодарностью принимаются дельные мысли, идеи, пул-реквесты.