Хранилище данных с храповым значением Boltdb исключительно в Go

Question

Болт получает файловую блокировку в файле данных, поэтому несколько процессов не могут открыть одну и ту же базу данных одновременно. Открытие уже открытой базы данных Bolt приведет к зависанию, пока другой процесс не закроет ее.

Как это имеет место, существует ли какая-либо концепция объединения соединений, например, различные клиенты, которые одновременно подключаются и получают доступ к базе данных? Возможно ли это в boltdb? Как и в то же время существуют различные соединения, которые читают и записывают в базу данных. Как это можно реализовать?

Answer 1

базы данные болта обычно встраиваются в большую программу и не используются в сети, как вы бы с общими базами данных (думает, SQLite против MySQL). Использование Bolt немного похоже на постоянное map[[]byte][]byte, если это возможно. В зависимости от того, что вы делаете, вы можете просто использовать что-то вроде Redis.

Сказанное, если вам нужно использовать Bolt таким образом, это не очень сложно обернуть простым сервером. Ниже приведен пример, который записывает/читает ключи из базы данных болтов через HTTP. Вы можете использовать Keep-Alive для объединения пулов.

Код по адресу: https://github.com/skyec/boltdb-server

package main 

import (
    "flag" 
    "fmt" 
    "io/ioutil" 
    "log" 
    "net/http" 
    "time" 

    "github.com/boltdb/bolt" 
    "github.com/gorilla/mux" 
) 

type server struct { 
    db *bolt.DB 
} 

func newServer(filename string) (s *server, err error) { 
    s = &server{} 
    s.db, err = bolt.Open(filename, 0600, &bolt.Options{Timeout: 1 * time.Second}) 
    return 
} 

func (s *server) Put(bucket, key, contentType string, val []byte) error { 
    return s.db.Update(func(tx *bolt.Tx) error { 
     b, err := tx.CreateBucketIfNotExists([]byte(bucket)) 
     if err != nil { 
      return err 
     } 
     if err = b.Put([]byte(key), val); err != nil { 
      return err 
     } 
     return b.Put([]byte(fmt.Sprintf("%s-ContentType", key)), []byte(contentType)) 
    }) 
} 

func (s *server) Get(bucket, key string) (ct string, data []byte, err error) { 
    s.db.View(func(tx *bolt.Tx) error { 
     b := tx.Bucket([]byte(bucket)) 
     r := b.Get([]byte(key)) 
     if r != nil { 
      data = make([]byte, len(r)) 
      copy(data, r) 
     } 

     r = b.Get([]byte(fmt.Sprintf("%s-ContentType", key))) 
     ct = string(r) 
     return nil 
    }) 
    return 
} 

func (s *server) ServeHTTP(w http.ResponseWriter, r *http.Request) { 
    vars := mux.Vars(r) 

    if vars["bucket"] == "" || vars["key"] == "" { 
     http.Error(w, "Missing bucket or key", http.StatusBadRequest) 
     return 
    } 

    switch r.Method { 
    case "POST", "PUT": 
     data, err := ioutil.ReadAll(r.Body) 
     if err != nil { 
      http.Error(w, err.Error(), http.StatusInternalServerError) 
      return 
     } 
     err = s.Put(vars["bucket"], vars["key"], r.Header.Get("Content-Type"), data) 
     w.WriteHeader(http.StatusOK) 
    case "GET": 
     ct, data, err := s.Get(vars["bucket"], vars["key"]) 
     if err != nil { 
      http.Error(w, err.Error(), http.StatusInternalServerError) 
      return 
     } 
     w.Header().Add("Content-Type", ct) 
     w.Write(data) 
    } 
} 

func main() { 
    var (
     addr string 
     dbfile string 
    ) 

    flag.StringVar(&addr, "l", ":9988", "Address to listen on") 
    flag.StringVar(&dbfile, "db", "/var/data/bolt.db", "Bolt DB file") 
    flag.Parse() 

    log.Println("Using Bolt DB file:", dbfile) 
    log.Println("Listening on:", addr) 

    server, err := newServer(dbfile) 
    if err != nil { 
     log.Fatalf("Error: %s", err) 
    } 

    router := mux.NewRouter() 
    router.Handle("/v1/buckets/{bucket}/keys/{key}", server) 
    http.Handle("/", router) 

    log.Fatal(http.ListenAndServe(addr, nil)) 
} 

Answer 2

В boltdb отсутствует концепция объединения соединений, поскольку соединение отсутствует. Это не база данных клиент/сервер, это встроенная база данных (например, sqlite или Berkeley-DB).

Boltdb сконструирован таким образом, что несколько goroutines одного и того же процесса могут одновременно обращаться к базе данных (используя различные транзакции). Модель представляет собой единый писатель, несколько читателей. Boltdb не предназначен для поддержки доступа из нескольких процессов.

Если вам нужна программа Go использовать встроенную базу данных, поддерживающий доступ из нескольких процессов одновременно, вы можете захотеть взглянуть на обертках над LMDB, такими как:

• https://github.com/szferi/gomdb
• https://github.com/armon/gomdb