Golang で Google ドライブ ダウンローダーを構築する (パート 1)

表紙 > プログラミング > Golang で Google ドライブダウンローダーを構築する (パート 1)

Golang で Google ドライブダウンローダーを構築する (パート 1)

2024 年 11 月 8 日に公開

ブラウズ：809

Building a Google Drive Downloader in Golang (Part 1)

導入

このチュートリアルでは、Google ドライブや他のクラウドプロバイダーからファイルをダウンロードできる強力なダウンローダーを構築します。 Golang の効率的な同時実行パターンを使用すると、複数のダウンロードを同時に管理したり、大きなファイルをストリーミングしたり、進行状況をリアルタイムで追跡したりすることができます。いくつかの小さなファイルをダウンロードする場合でも、大規模なデータセットを処理する場合でも、このプロジェクトでは、複数のクラウドプラットフォームをサポートするように簡単に拡張できる、スケーラブルで堅牢なダウンローダーを構築する方法を紹介します。

大きなファイルのダウンロードを簡素化および自動化する方法をお探しの場合は、このチュートリアルが最適です。最終的には、ニーズに合わせて柔軟でカスタマイズ可能な Go ベースのダウンローダーが完成します。

お急ぎですか？

このダウンローダーを UI で使用したいだけの場合は、evolveasdev.com にアクセスして記事全文を読み、Downloader の Github にアクセスしてください。迅速に実行するためのドキュメントが見つかります。

学べること

Go 同時実行パターン:
ゴルーチン、チャネル、ミューテックスを使用して、複数の同時ファイルのダウンロードを効率的に処理する方法を学びます。
大量のストリーミングダウンロード:
メモリとシステムリソースを効果的に管理しながら、大きなファイルをストリーミングする方法を検討します。
同時ファイルダウンロード:
ファイルを同時にダウンロードしてプロセスを高速化し、パフォーマンスを向上させる方法を理解します。
リアルタイムの進行状況更新:
進行状況の追跡を実装して、ダウンロードステータスに関するリアルタイムのフィードバックを提供します。
中断とキャンセルの処理:
進行中の 1 つまたはすべてのダウンロードを適切にキャンセルする方法を学びます。

注: このチュートリアルでは、コアダウンロードロジックのみに焦点を当てます。

環境設定

まず、何かをする前に、将来の潜在的なバグを避けるために環境を適切にセットアップしてください。

前提条件

Go をインストールする
AIR 自動リロード用
複雑なコマンドを実行するための Makefile
Goose

メイクファイルの構成

次のようにして、プロジェクトのルートにメイクファイルを作成します。

# .env ファイルから環境変数をロードします ./.env を含める # アプリケーションを実行するには実行: ビルド @./bin/go-downloader # アプリケーションをビルドする建てる： @go build -tags '!dev' -o bin/go-downloader # データベース移行ステータスデータベースステータス: @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) ステータス # データベース移行を実行する上： @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up # 最後のデータベース移行をロールバックします下： @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down # データベース移行をリセットするリセット: @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) リセット

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

高レベルのフォルダー構造の概要

go-downloader/ §── API §── 設定 §── 移住 §── サービス §── 設定 §── 店舗 §── 種類 §── ユーティリティ §── .env §── .air.toml §── メイクファイル §── go.mod §── go.sum └── main.go

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

環境変数の設定

ルートに .env ファイルを作成するか、環境変数を自由に処理します。joho/godotenv パッケージを使用します。

GOOGLE_CLIENT_ID GOOGLE_CLIENT_SECRET SESSION_SECRET=超秘密の何か APP_URL=http://localhost:3000 POSTGRES_USER POSTGRES_PASSWORD POSTGRES_DB

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

Webサーバーの作成

ここで、すべての受信リクエストを処理する Web サーバーの作成を開始します。

Heads Up! このガイドの主要部分はここから始まります。飛び込む準備をしましょう!

APIレイヤー

まず、API フォルダー api.go およびroute.go 内に次のファイルを作成します

Route.go ファイルのセットアップ

すべての

API ルート はここで定義されます。 env 設定を受け取る NewRouter 構造体を作成し、すべてのルートとハンドラーが環境変数にアクセスできるようにします。

パッケージAPI 輸入（「github.com/gofiber/fiber/v2」「github.com/nilotpaul/go-downloader/config」） type Router struct { 環境設定.EnvConfig } func NewRouter(env config.EnvConfig) *ルーター { ルーターを返す(&R){ 環境: 環境、 } } func (h *Router) RegisterRoutes(r Fiber.Router) { r.Get("/healthcheck", func(c *fiber.Ctx) エラー { return c.JSON("OK") }) }

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

api.goファイルのセットアップ

ここでは、サーバーを起動する前に、CORS やロギングなどの必要なミドルウェアをすべて追加します。

type APIServer struct { listenAddr 文字列環境設定.EnvConfig } func NewAPIServer(listenAddr string, env config.EnvConfig) *APIServer { &APIサーバーを返す{ listenAddr: listenAddr、環境: 環境、 } } func (s *APIServer) Start() エラー { app := ファイバー.New(ファイバー.Config{ アプリ名: "Go ダウンローダー"、 }) ハンドラー := NewRouter() handler.RegisterRoutes(アプリ) log.Printf("サーバーは http://localhost:%s で起動しました", s.listenAddr) return app.Listen(":" s.listenAddr) }

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

メインエントリポイント

これは、main.go ファイル内のメインパッケージであり、全体へのエントリポイントとして機能します。

関数 main() { // .env ファイルからすべての環境変数をロードします。 env := config.MustLoadEnv() log.Fatal(s.Start()) }

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

サーバーを起動してテストするにはこれで十分です。

サーバーを起動します

空気

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

それでおしまい。？

テスト

curl http://localhost:3000/healthcheck

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

ステータス 200 で応答は OK になるはずです

プロバイダーストアの作成

必要に応じて複数のクラウドプロバイダーのサポートを追加するためのスケーラブルなソリューションを実装する必要があります。

プロバイダーレジストリの作業

// 別のフォルダーに保存した方がよいでしょう。 // OAuth プロバイダーにのみ固有。タイプ OAuthProvider インターフェイス { 認証(文字列)エラー GetAccessToken() 文字列 GetRefreshToken() 文字列 RefreshToken(*fiber.Ctx, string, bool) (*oauth2.Token, エラー) IsTokenValid() ブール値 GetAuthURL(状態文字列) 文字列 CreateOrUpdateAccount() (文字列、エラー) CreateSession(c *fiber.Ctx, userID string) エラー UpdateTokens(*GoogleAccount) エラー } タイプ ProviderRegistry struct { プロバイダーマップ[文字列]OAuthProvider } func NewProviderRegistry() *ProviderRegistry { &ProviderRegistryを返す{ プロバイダー: make(map[string]OAuthProvider)、 } } func (r *ProviderRegistry) Register(providerName string, p OAuthProvider) { r.Providers[プロバイダ名] = p } func (r *ProviderRegistry) GetProvider(providerName string) (OAuthProvider, error) { p、存在します := r.Providers[プロバイダ名] !存在する場合 { nil を返す、fmt.Errorf("プロバイダーが見つかりません") } p、nilを返す }

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

ProviderRegistry は、すべての

OAuth プロバイダーを保持する中心的なマップとして機能します。プロバイダーを初期化するときに、このマップにプロバイダーを登録します。これにより、当社のサービス全体を通じて、登録されたプロバイダーの機能に簡単にアクセスできるようになります。

このアクションは後ほど表示します。

プロバイダーストアの初期化

指定された環境変数に基づいてプロバイダーを登録します。

func InitStore(env config.EnvConfig) *ProviderRegistry { r := NewProviderRegistry() if len(env.GoogleClientSecret) != 0 || len(env.GoogleClientID) != 0 { googleProvider := NewGoogleProvider(googleProviderConfig{ googleClientID: env.GoogleClientID、 googleClientSecret: env.GoogleClientSecret, googleRedirectURL: env.AppURL "/callback/google", }、環境) r.Register("google", googleProvider) } rを返す }

# Load environment variables from .env file
include ./.env

# To run the application
run: build
    @./bin/go-downloader

# Build the application
build:
    @go build -tags '!dev' -o bin/go-downloader

# Database migration status
db-status:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) status

# Run database migrations
up:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) up

# Roll back the last database migration
down:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) down

# Reset database migrations
reset:
    @GOOSE_DRIVER=postgres GOOSE_DBSTRING=$(DB_URL) goose -dir=$(migrationPath) reset

記事全文はこちらからお読みください。

まとめ

私たちは Go の

Google ドライブダウンローダーの基礎を築き、プロジェクト構造の設定、Google OAuth の処理、将来の拡張のための基盤の構築などの主要なコンポーネントをカバーしました。その過程で、いくつかの重要なトピックについて触れました:

データベース移行により、スムーズでスケーラブルなデータ管理を実現します。
プロバイダーレジストリを構築しています。

かなり長くなってしまったので、1 つの投稿にはこれで十分です。

パート 2に戻って作業を完了し、メインのダウンロード機能を作業します。

それまでは、GitHub で現在の実装を自由に調べて、次のステップに注目してください。ダウンロードを楽しんでください!

リリースステートメントこの記事は次の場所に転載されています: https://dev.to/evolvedev/building-a-google-drive-downloader-in-golang-part-1-3fmk?1 侵害がある場合は、[email protected] までご連絡ください。それを削除するには

最新のチュートリアルもっと>

Unity 開発者を雇う: 没入型ゲームを素晴らしいものにする
ゲーム開発とインタラクティブ性の潮流が一瞬でも止まらないことから明らかなように、Unity 3D は間違いなく、没入型のマルチプラットフォームエクスペリエンスの開発に最も広く使用されているプラットフォームの 1 つです。。モバイルゲーム、仮想体験、拡張現実アプリケーションを開発します。あな...

プログラミング 2024 年 11 月 8 日に公開
ページの読み込み後に、LESS スタイルシートを動的に読み込むにはどうすればよいですか?
LESS スタイルシートの動的読み込み最初のページに続いて特定のスタイルの動的読み込みを必要とする LESS.js の利用に興味を示しました。負荷。ただし、LESS.js の既存の動作では、以下の機能例で示すように、LESS.js スクリプトの前にすべての LESS スタイルシートをロードする必要が...

プログラミング 2024 年 11 月 8 日に公開
Python リストを使用するエレガントでシンプルな方法: リスト内包表記
リスト内包表記は高度な概念だと思うかもしれません。ただし、難しい状況では、コードを 1 行だけで簡素化できます。それがどのように機能するかを理解する時が来ました。例を使用して初心者レベルで説明します。リスト内包表記とは何ですか? l2 = [lのxに対してx 1]という表記...

プログラミング 2024 年 11 月 8 日に公開
Java WebDriver から JavaScript コードを実行するにはどうすればよいですか?
Java から WebDriver JavaScript を実行する: 拡張ガイド質問で言及されているコマンド ./go webdriverjs は、設計されたシェルコマンドです。特定のフォルダーに WebDriverJs 環境をセットアップして初期化します。ただし、WebDriverJs は、J...

プログラミング 2024 年 11 月 8 日に公開
WebページをESPまたは簡易プログラマブルコントローラにダウンロードします。
WebページをESP8266のFLASHに保存するために、delphiで特別にソフトウェアツールを作成しました。このソフトウェアツールは、1 つのフォルダーからすべての Web ページファイル (html、css、js、画像などを含む) を読み取り、それらをバイナリファイルにパッケージ化しま...

プログラミング 2024 年 11 月 8 日に公開
D&D テーブル用のカスタムストリームデッキの構築: カスタム SDK とのゲームパッド統合の解決
情熱的なダンジョンズ & ドラゴンズプレイヤーでありテクノロジー愛好家である私は、埋め込みスクリーンを備えたカスタムコーヒーテーブルを作成して、ゲームのセットアップを向上させることにしました。このテーブルには、マップ、トークンが表示され、サウンド効果が再生され、プレーヤーのアートワークも表示さ...

プログラミング 2024 年 11 月 8 日に公開
PHP で 2 つの日付の間の月数を効率的に計算するにはどうすればよいですか?
日付間の月数を効率的に求めるプログラミングの一般的な課題は、2 つの日付間の月数を決定することです。 PHP では、この問題を解決するための複数のアプローチがあります。DateTime クラスの使用 (PHP >= 5.3):PHP 5.3 で導入された DateTime クラスには便利なメソッドが...

プログラミング 2024 年 11 月 8 日に公開
ブートストラップ: Navbar の作成とカスタマイズ
導入 Bootstrap は、応答性の高いモバイル対応の Web サイトを作成するために Web 開発で広く使用されているオープンソースフレームワークです。 Bootstrap の重要なコンポーネントの 1 つは、Web サイトのコンテンツを整理して移動するために使用される水平ナ...

プログラミング 2024 年 11 月 8 日に公開
Python で WebSocket を使用する
WebSocketとは何ですか? WebSocket は、ブラウザとサーバー間のリアルタイムの双方向通信を可能にするプロトコルです。従来の HTTP 通信には、クライアントがリクエストを送信し、サーバーがデータ交換に応答することが含まれます。対照的に、WebSocket では、最初...

プログラミング 2024 年 11 月 8 日に公開
PHP でサブドメインからドメイン名を抽出するにはどうすればよいですか?
PHP でサブドメインからドメイン名を抽出する現代の Web 開発では、サブドメインからであってもドメイン名を解析して取得することが不可欠です。。簡単な例としては、「here.example.com」や「example.org」などのドメイン名が挙げられます。このニーズに対処するために、特定の入力...

プログラミング 2024 年 11 月 8 日に公開
マルチスレッドプログラミングでベクトルを連結して効率を最適化するには?
ベクトルの連結: 詳細な分析マルチスレッドプログラミングでは、結果の統合が一般的な課題です。これには通常、複数のベクトルを単一の包括的なベクトルに結合することが含まれます。最大限の効率を得るためにベクトルを連結するための最適なアプローチを探ってみましょう。最適な連結方法効率的なベクトル連結のベスト...

プログラミング 2024 年 11 月 8 日に公開
効率的に JSON データを返すために FastAPI を最適化するには?
大規模な JSON データを返すための FastAPI の最適化FastAPI を通じて膨大な JSON データセットを返すのは、時間のかかる作業になる可能性があります。このボトルネックに対処するために、パフォーマンスを向上させる代替アプローチを検討します。ボトルネックの特定:json.dumps(...

プログラミング 2024 年 11 月 8 日に公開
React: 状態 X 派生状態
派生状態とは何ですか?テキストに対して 1 つの状態を考えてから、uppercaseText に対して別の状態を考えてください。派生状態 function Foo() { const [text, setText] = useState('hello, za warudo!...

プログラミング 2024 年 11 月 8 日に公開
カスタムユーザータイプを使用して PostgreSQL JSON 列を Hibernate エンティティにマップする方法
PostgreSQL JSON 列を Hibernate エンティティにマッピングするPostgreSQL データベースを使用する場合、データを JSON 形式で保存する列に遭遇することがよくあります。 Hibernate を使用してこれらの列を Java エンティティに効果的にマップするには、適切...

プログラミング 2024 年 11 月 8 日に公開
チーム全体で一貫した Node.js バージョンを確保する
.nvmrc と package.json の包括的なガイド今日の動的な開発状況では、さまざまなプロジェクトにわたって複数の Node.js バージョンを管理することは、多くの場合、複雑でエラーが発生しやすい作業になります。 Node.js のバージョンに一貫性がない場合、予期しない動作からアプリ...

プログラミング 2024 年 11 月 8 日に公開