神刀安全网

sqlite 的分布式实现方案:rqlite

rqlite 相关操作说明

项目总为实现 sqlite 添加账号和密码,以满足信息安全的需求。
鉴于对 sqlite 实现添加账号和密码比较复杂和困难,项目中使用了分布式 rqlite ,故转而研究 rqlite 如何添加账号和密码。

项目概况:

开发语言:Python

存储: sqlite (rqlite)

整体流程:

  • rqlite 介绍
  • rqlite CLI 客户端介绍
  • rqlite Basic Auth
  • pyrqlite 介绍
  • sqlalchemy-rqlite 介绍

1. rqlite 使用介绍

rqlite 项目地址

作者博客

rqlite : 基于 SQLite 构建的轻量级、分布式关系数据库, 使用Go 编程实现,使用 Raft 算法来确保所有 SQLite 数据库实例的一致性。

  • 下载地址和方式

Download

以 Linux版本为例, 解压之后:存在: rqlite 和 rqlited 两个文件

  • 启动服务
./rqlited /pathdir/rqlitedata   # 在 /pathdir/rqlitedata 目录下存放数据文件和其他一些配置文件  peers.json  raft.db  snapshots  
  • 启动多个节点
rqlited -http-addr localhost:4003 -raft-addr localhost:4004 -join http://localhost:4001 /pathdir/rqlitedata1 rqlited -http-addr localhost:4005 -raft-addr localhost:4006 -join http://localhost:4001 /pathdir/rqlitedata2 

rqlite 支持Securing 操作

  1. File system security
  2. Network security
  3. HTTPS API
  4. Node-to-node encryption
  5. Basic Auth

2. rqlite CLI 命令行使用介绍

启动服务后可以使用命令行工具进行数据的增删改查:

./rqlite 127.0.0.1:4001>  # sqlite 的语法的增删改查都支持 演示示例: $ ./rqlite 127.0.0.1:4001> CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT) 0 row affected (0.000362 sec) 127.0.0.1:4001> .tables +------+ | name | +------+ | foo  | +------+ 127.0.0.1:4001> .schema +---------------------------------------------------------------+ | sql                                                           | +---------------------------------------------------------------+ | CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT) | +---------------------------------------------------------------+ 127.0.0.1:4001> INSERT INTO foo(name) VALUES("fiona") 1 row affected (0.000117 sec) 127.0.0.1:4001> SELECT * FROM foo +----+-------+ | id | name  | +----+-------+ | 1  | fiona | +----+-------+ 127.0.0.1:4001> quit bye~ 

命令行工具的参数说明

./rqlite -h   Options:     -h, --help       display help information     -s, --scheme[=http]       protocol scheme (http or https)     -H, --host[=127.0.0.1]       rqlited host address     -p, --port[=4001]       rqlited host port     -P, --prefix[=/]       rqlited HTTP URL prefix     -i, --insecure[=false]       do not verify rqlited HTTPS certificate        

除命令行之外,rqlite 支持 HTTP API

通过 HTTP API 完成对数据库的增删改查。

演示示例:

# 创建数据库   curl -X POST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d '[     "CREATE TABLE foo (id integer not null primary key, name text)" ]'   # 返回是个 json 格式的数据 {     "results": [         {             "last_insert_id": 1,             "rows_affected": 1,             "time": 0.00886         }     ],     "time": 0.0152 }   # 查询数据   curl -G 'localhost:4001/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'   # 返回结果   {     "results": [         {             "columns": [                 "id",                 "name"             ],             "types": [                 "integer",                 "text"             ],             "values": [                 [                     1,                     "fiona"                 ]             ],             "time": 0.0150043         }     ],     "time": 0.0220043 }   # 也有很好的错误处理机制,比如查询一个不存在的数据库,或者语法错误,都能很好的捕获   curl -XPOST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d "[     /"INSERT INTO nonsense/" ]"   {     "results": [         {             "error": "near /"nonsense/": syntax error"         }     ],     "time": 2.478862 }   # 还可显示响应信息   curl -v -G 'localhost:4003/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'   # 响应信息 * About to connect() to localhost port 4001 (#0) *   Trying ::1... * Connection refused *   Trying 127.0.0.1... * Connected to localhost (127.0.0.1) port 4001 (#0) * Server auth using Basic with user 'bob' > GET /db/query?pretty&timings&q=SELECT%20%2A%20FROM%20foo HTTP/1.1 > Authorization: Basic Ym9iOnNlY3JldDE= > User-Agent: curl/7.29.0 > Host: localhost:4001 > Accept: */* > < HTTP/1.1 200 OK < Content-Type: application/json; charset=utf-8 < X-Rqlite-Version: v4.0.0 < Date: Tue, 14 Nov 2017 08:07:27 GMT < Content-Length: 276 < {     "results": [         {             "columns": [                 "id",                 "name"             ],             "types": [                 "integer",                 "text"             ],             "time": 0.000116084         }     ],     "time": 0.000741562 * Connection #0 to host localhost left intact 

3. rqlite Basic Auth

其他安全策略暂时不研究,研究认证方式。

具体做法是:

  • 配置文件: config.json 规定相应用户的操作权限

  • 启动服务传入配置文件

  • 命令行操作 -H 传入参数

  • HTTP API 则也需要传入用户名和密码

演示:config.json

1. 用户名、密码和操作权限设置

[   {     "username": "bob",     "password": "secret1",     "perms": ["all"]   },   {     "username": "mary",     "password": "secret2",     "perms": ["query", "status"]   } ]   # 配置了两个用户名和密码,两个用户的操作权限不一致,mary 用户只要query , status 权限  

注: 用户权限包括:

  • all: user can perform all operations on a node.
  • execute: user may access the execute endpoint.
  • query: user may access the query endpoint.
  • load: user may load an SQLite dump file into a node.
  • backup: user may perform backups.
  • status: user can retrieve status information from the node.
  • join: user can join a cluster. In practice only a node joins a cluster.
  • remove: user can remove a node from a cluster.

2. 传入认证参数启动节点服务

./rqlited -auth=/root/config.json -http-addr localhost:4001 -raft-addr localhost:4002 /root/data/rqlite 

3. 若使用命令界面访问认证的数据库

bob,secret1 为配置文件中的用户名和密码

./rqlite -H bob:secret1@localhost bob:secret1@localhost:4001>   # 正常使用 SQL 实现增删改查,不添加-H 参数,报错,无法读取数据库数据 

4. 若使用HTTP API 的方式访问认证的数据库

访问 API 有所差异

curl -G 'https://bob:secret1@localhost:4001/db/query?pretty&timings' / --data-urlencode 'q=SELECT * FROM foo'   # API 中带入了用户名和密码  

4. pyrqlite 使用介绍

假设启动了节点服务,那如何实现编程实现对数据库的增删改查?

pyrqlite 和绝大多数数据库API 的使用方法一致:

安装

  • 下载源码
  • python setup.py install

基本使用

import pyrqlite.dbapi2 as dbapi2   # Connect to the database connection = dbapi2.connect(     host='localhost',     port=4001, )   try:     with connection.cursor() as cursor:         cursor.execute('CREATE TABLE foo (id integer not null primary key, name text)')         cursor.executemany('INSERT INTO foo(name) VALUES(?)', seq_of_parameters=(('a',), ('b',)))       with connection.cursor() as cursor:         # Read a single record         sql = "SELECT `id`, `name` FROM `foo` WHERE `name`=?"         cursor.execute(sql, ('a',))         result = cursor.fetchone()         print(result) finally:     connection.close()   # 结果 OrderedDict([('id', 1), ('name', 'a')]) 

若启动了一个配置认证信息的节点如何操作pyrqlite

最新版本,已经实现创建数据库连接时配置 user 和 paasword

connection = dbapi2.connect(     host='localhost',     port=4001,     user='bob',     password='secret1' ) 

5. sqlalchemy-rqlite 使用介绍

如果对直接编写SQL 语句容易出错,作者还提供了ORM 方式。

安装

  • 下载源码
  • python setup.py install

基本使用

from sqlalchemy import create_engine engine = create_engine('rqlite+pyrqlite://localhost:4001/', echo=True) 

如果对已经配置认证信息的节点进行连接

from sqlalchemy import create_engine engine = create_engine('rqlite+pyrqlite://localhost:4001/?user=bob&password=secret1', echo=True) 

(全文完)

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » sqlite 的分布式实现方案:rqlite

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址