Parallele Dateidownloads in Go mithilfe von Goroutinen
In Go ist es möglich, Dateien gleichzeitig mithilfe von Goroutinen herunterzuladen und zu speichern. Goroutinen ermöglichen eine schlanke Thread-Ausführung, erleichtern die parallele Verarbeitung und verbessern die Leistung.
Hier ist der von Ihnen bereitgestellte Code, der für die Verwendung von Goroutinen geändert wurde:
package main
import (
"encoding/json"
"fmt"
"io"
"io/ioutil"
"net/http"
"net/url"
"os"
"path/filepath"
"sync"
)
// Credentials
const app_key string = ""
const app_secret string = ""
// Authorization code
var code string
// Token response
type TokenResponse struct {
AccessToken string `json:"access_token"`
}
// File structure
type File struct {
Path string
}
// File list response
type FileListResponse struct {
FileList []File `json:"contents"`
}
// Download a file using goroutines
func download_file(file File, token TokenResponse, wg *sync.WaitGroup) {
download_file := fmt.Sprintf("https://api-content.dropbox.com/1/files/dropbox/%s?access_token=%s", file.Path, token.AccessToken)
resp, _ := http.Get(download_file)
defer resp.Body.Close()
filename := filepath.Base(file.Path)
out, err := os.Create(filename)
if err != nil {
panic(err)
}
defer out.Close()
io.Copy(out, resp.Body)
wg.Done()
}
func main() {
// Authorization and token retrieval
authorize_url := fmt.Sprintf("https://www.dropbox.com/1/oauth2/authorize?response_type=code&client_id=%s", app_key)
fmt.Printf("1. Go to: %s\n", authorize_url)
fmt.Println("2. Click 'Allow' (you might have to log in first)")
fmt.Println("3. Copy the authorization code.")
fmt.Printf("Enter the authorization code here: ")
fmt.Scanf("%s", &code)
// Get file list
file_list_url := fmt.Sprintf("https://api.dropbox.com/1/metadata/dropbox/Camera Uploads?access_token=%s", tr.AccessToken)
resp2, _ := http.Get(file_list_url)
defer resp2.Body.Close()
contents2, _ := ioutil.ReadAll(resp2.Body)
var flr FileListResponse
json.Unmarshal(contents2, &flr)
// WaitGroup to wait for all goroutines to finish
var wg sync.WaitGroup
// Download files concurrently
for i, file := range flr.FileList {
wg.Add(1)
go download_file(file, tr, &wg)
if i >= 2 {
break
}
}
wg.Wait()
}
In diesem geänderten Code fügen wir eine sync.WaitGroup namens wg hinzu, um die Anzahl der ausgeführten Goroutinen zu verfolgen. Wir erhöhen wg vor dem Start jeder Goroutine und dekrementieren es, wenn jede Goroutine mit wg.Done() fertig ist. Die Haupt-Goroutine wartet mit dem Aufruf von wg.Wait() auf den Abschluss aller Goroutinen. Dadurch wird sichergestellt, dass das Programm nicht beendet wird, bevor alle Dateien heruntergeladen wurden.
Haftungsausschluss: Alle bereitgestellten Ressourcen stammen teilweise aus dem Internet. Wenn eine Verletzung Ihres Urheberrechts oder anderer Rechte und Interessen vorliegt, erläutern Sie bitte die detaillierten Gründe und legen Sie einen Nachweis des Urheberrechts oder Ihrer Rechte und Interessen vor und senden Sie ihn dann an die E-Mail-Adresse: [email protected] Wir werden die Angelegenheit so schnell wie möglich für Sie erledigen.
Copyright© 2022 湘ICP备2022001581号-3