フレームワーク:タグのアーカイブ

Go言語初心者向けWEB講座その１：neoフレームワーク　（簡単な認証、サインアップ、ログインを準備）

2020年3月19日Go言語

投稿者：担当者

Go言語も様々なフレームワークがありますが、あえて情報ソースが少なく学習コストが低いものを選んでみました。このneoは単純で１日で覚えられます。フルスタックのフレームワークならRevelを使うと思いますが、どの言語もメジャーなものを選択するとちゃんと理解しないでコピペで終わってしまいそうなので私は常にマイナーなものを選びます。言語を覚えているのか、フレームワークを覚えているのかがわからなくなるのでGo言語に限らずどの言語もフレームワークやその言語を深く理解しようと思う場合、マイナーなものを選択します。そうすることで後々の改造や言語を詳しくしるきっかけになるからです。

neoフレームワークのインストール

$ go get github.com/ivpusic/neo
<p>最初にneoフレムワークをダウンロードしプロジェクトフォルダーmyappを自動生成させます。</p>
$ go get github.com/ivpusic/neo/cmd/neo
$ neo new myapp
$ cd myapp

$ go get github.com/ivpusic/neo

<p>最初にneoフレムワークをダウンロードしプロジェクトフォルダーmyappを自動生成させます。</p>

$ go get github.com/ivpusic/neo/cmd/neo

$ neo new myapp

$ cd myapp

neoのコンフィギューレーションファイル

neoでプロジェクトフォルダーを自動生成するとその配下にconfig.tomlとmain.goの簡単なWEBサーバ起動ファィルができていることを見つけるでしょう。config.tomlはneoのコンフィギュレーションファイルです。このファイルを編集する機会があるとするなら多くはリッスンするIPアドレスとポート番号ではないかと思います。以下に別のIPアドレスに変更した場合のサンプルを用意します。

config.toml

#
# settings related to recompiling and reruning app when source changes
#
[hotreload]
  # file suffixes to watch for changes
  suffixes = [".go"]

  # files/directories to ignore
  ignore = []

#
# general application settings
#
[app]
  # additional application arguments
  args = []
  addr = ":8070"  <---8070番Portでリッスン、IPアドレスの省略は"0.0.0.0"のany addr listenを意味する。

  [app.logger]
    level = "DEBUG"
    name = "application"

#
# neo settings
#
[neo]
  [neo.logger]
  level = "INFO"

# settings related to recompiling and reruning app when source changes

[hotreload]

# file suffixes to watch for changes

suffixes = [".go"]

# files/directories to ignore

ignore = []

# general application settings

[app]

# additional application arguments

args = []

addr = ":8070" <---8070番Portでリッスン、IPアドレスの省略は"0.0.0.0"のany addr listenを意味する。

[app.logger]

level = "DEBUG"

name = "application"

# neo settings

[neo]

[neo.logger]

level = "INFO"

ファイル構成

尚、全体のプロジェクトのファイル構成は以下の通り。

メインのソースコード

初回の仕様としてはログイン情報のサインアップとログインする仕組みを提供する必要最低限を実装します。セッションの機能やユーザデータはMySQLで処理します。尚、今回はユーザパスワードは生のテキストで実装しますが、次の「その２」では暗号化する処理を入れた内容で実施する予定です。

セッション管理にはSCSを使用しています。SCS: HTTP Session Management for Go予めインストールしておきましょう。また、mysqlのgo-sql-driverも合わせて導入してください。

main.go

package main

import (
        "myapp/user"
        _ "github.com/go-sql-driver/mysql"
        "github.com/ivpusic/golog"
        "github.com/ivpusic/neo"
        "github.com/ivpusic/neo/middlewares/logger"
        "github.com/alexedwards/scs"
        "github.com/alexedwards/scs/memstore"
)

var (
        log = golog.GetLogger("application")
        session *scs.Session
)

// Set path "/"
func Webroot(ctx *neo.Ctx)(int, error){
        return 200, ctx.Res.Tpl("index",nil)
}
// Set path "/page01"
func Pages(ctx *neo.Ctx)(int, error){
        msg := session.GetString(ctx.Req.Context(), "message")
        if msg == "" {
                msg = "not Login status."
        }
        return 200, ctx.Res.Tpl("page",msg)
}
// Set path "/signup"
func Signup(ctx *neo.Ctx)(int, error){
        return 200,ctx.Res.Tpl("signup",nil)
}

// Set path "/login" GET action
func Login(ctx *neo.Ctx)(int, error){
        return 200,ctx.Res.Tpl("login",nil)
}

// Set path "/login" POST action
func Login_post(ctx *neo.Ctx)(int, error){
    var ret_code int
        data := make(map[string]string)
        data["username"] = ctx.Req.FormValue("username")
        data["password"] = ctx.Req.FormValue("password")
        data["ret_code"] = "auth success"
        if ret := user.User_chk(data); ret == true {
                ret_code = 200
                session.Put(ctx.Req.Context(),"message","hello from s session!")
        } else {
                ret_code = 404
                data["ret_code"] = "auth failed"
        }
        return ret_code,ctx.Res.Tpl("logined",data)
}

// Set path "/logout"
func Logout(ctx *neo.Ctx)(int, error){
        session.Destroy(ctx.Req.Context())
        return 200, ctx.Res.Tpl("index",nil)
}

func main() {


        log.Info("Regards from Neo")

        session = scs.NewSession()
        session.Store = memstore.New()

        // Make Application Instance
        app := neo.App()
        // Template Assign
        app.Templates(
                "templates/*.tpl",
        )

        // Set Static Path
    app.Serve("/static", "asset")
        app.Use(logger.Log)

        // URL Routing dispatch process routine
        app.Get("/",Webroot)
        app.Get("/signup",Signup)
        app.Get("/login",Login)
        app.Get("/page01",Pages)
        app.Get("/logout",Logout)
        app.Post("/login",Login_post)

        // Server listen
        app.Start(session.LoadAndSave(app))
        //app.Start(nil)
}

package main

import (

"myapp/user"

_ "github.com/go-sql-driver/mysql"

"github.com/ivpusic/golog"

"github.com/ivpusic/neo"

"github.com/ivpusic/neo/middlewares/logger"

"github.com/alexedwards/scs"

"github.com/alexedwards/scs/memstore"

)

var (

log = golog.GetLogger("application")

session *scs.Session

)

// Set path "/"

func Webroot(ctx *neo.Ctx)(int, error){

return 200, ctx.Res.Tpl("index",nil)

}

// Set path "/page01"

func Pages(ctx *neo.Ctx)(int, error){

msg := session.GetString(ctx.Req.Context(), "message")

if msg == "" {

msg = "not Login status."

}

return 200, ctx.Res.Tpl("page",msg)

}

// Set path "/signup"

func Signup(ctx *neo.Ctx)(int, error){

return 200,ctx.Res.Tpl("signup",nil)

}

// Set path "/login" GET action

func Login(ctx *neo.Ctx)(int, error){

return 200,ctx.Res.Tpl("login",nil)

}

// Set path "/login" POST action

func Login_post(ctx *neo.Ctx)(int, error){

var ret_code int

data := make(map[string]string)

data["username"] = ctx.Req.FormValue("username")

data["password"] = ctx.Req.FormValue("password")

data["ret_code"] = "auth success"

if ret := user.User_chk(data); ret == true {

ret_code = 200

session.Put(ctx.Req.Context(),"message","hello from s session!")

} else {

ret_code = 404

data["ret_code"] = "auth failed"

}

return ret_code,ctx.Res.Tpl("logined",data)

}

// Set path "/logout"

func Logout(ctx *neo.Ctx)(int, error){

session.Destroy(ctx.Req.Context())

return 200, ctx.Res.Tpl("index",nil)

}

func main() {

log.Info("Regards from Neo")

session = scs.NewSession()

session.Store = memstore.New()

// Make Application Instance

app := neo.App()

// Template Assign

app.Templates(

"templates/*.tpl",

)

// Set Static Path

app.Serve("/static", "asset")

app.Use(logger.Log)

// URL Routing dispatch process routine

app.Get("/",Webroot)

app.Get("/signup",Signup)

app.Get("/login",Login)

app.Get("/page01",Pages)

app.Get("/logout",Logout)

app.Post("/login",Login_post)

// Server listen

app.Start(session.LoadAndSave(app))

//app.Start(nil)

}

テンプレートの用意

templates/header.tpl

{{define "header"}}
<p>This is header</p>
{{end}}

<p>This is header</p>

templates/footer.tpl

{{define "footer"}}
<p>This is footer</p>
{{end}}

<p>This is footer</p>

templates/index.tpl

{{define "index"}}
<!DOCTYPE html>
<html>
    <meta charset="UTF-8">
    <head>
        <title>Example</title>
    </head>

    <body>
        {{template "header"}}
        <div>
            Site content <br>
        </div>
        {{template "footer"}}
    </body>
</html>
{{end}}

<!DOCTYPE html>

<html>

<head>

<title>Example</title>

</head>

<body>

<div>

Site content <br>

</div>

</body>

</html>

signup.tpl

{{define "signup"}}
<!DOCTYPE html>
<html>
    <head>
        <title>User SignUp</title>
    </head>

    <body>
        {{template "header"}}
        <div>
            Site content
        </div>
        {{template "footer"}}
    </body>
</html>
{{end}}

<!DOCTYPE html>

<html>

<head>

<title>User SignUp</title>

</head>

<body>

<div>

Site content

</div>

</body>

</html>

login.tpl

{{define "login"}}
<!DOCTYPE html>
<html>
<head>
    <title>Login Example</title>
</head>

<body>
{{template "header"}}
<div id="login_form">
    <form name="f1" method="post" action="/login" id="f1">
        <table>
            <tr>
                <td class="f1_label">User Name :</td><td><input type="text" name="username" value="" />
                </td>
            </tr>
            <tr>
                <td class="f1_label">Password  :</td><td><input type="password" name="password" value=""  />
                </td>
            </tr>
            <tr>
                <td>
                    <input type="submit" name="login" value="Log In" style="font-size:18px; " />
                </td>
            </tr>
        </table>
    </form>
</div>
{{template "footer"}}
</body>
</html>
{{end}}

<!DOCTYPE html>

<html>

<head>

<title>Login Example</title>

</head>

<body>

<table>

<tr>

</td>

</tr>

<tr>

<td class="f1_label">Password :</td><td><input type="password" name="password" value="" />

</td>

</tr>

<tr>

<td>

</td>

</tr>

</table>

</form>

</div>

</body>

</html>

logined.tpl

{{define "logined"}}
<!DOCTYPE html>
<html>
    <meta charset="UTF-8">
    <head>
        <title>Now User Logged In!!</title>
    </head>

    <body>
        {{template "header"}}
        <div>
            Username: {{.username}} / Password: {{.password}} <br>
                        Authenticated Result: {{.ret_code}} <br>
        </div>
        {{template "footer"}}
    </body>
</html>
{{end}}

<!DOCTYPE html>

<html>

<head>

<title>Now User Logged In!!</title>

</head>

<body>

<div>

Username: {{.username}} / Password: {{.password}} <br>

Authenticated Result: {{.ret_code}} <br>

</div>

</body>

</html>

pages.tpl

{{define "page"}}
<!DOCTYPE html>
<html>
    <meta charset="UTF-8">
    <head>
        <title>Page Example</title>
    </head>

    <body>
        {{template "header"}}
        <div>
            Site content <br>
            Message: {{.}} <br>
        </div>
        {{template "footer"}}
    </body>
</html>
{{end}}

<!DOCTYPE html>

<html>

<head>

<title>Page Example</title>

</head>

<body>

<div>

Site content <br>

Message: {{.}} <br>

</div>

</body>

</html>

ユーザ認証処理

user/userauth.go

package user

import (
        "fmt"
        "database/sql"
    _ "github.com/go-sql-driver/mysql"
)

type User struct {
    ID   int
    Name string
    Pass string
}

func User_chk(udata map[string]string) bool {
    db,err := sql.Open("mysql","stuff:%23fv323Ln@tcp(127.0.0.1)/users")
    if err != nil {
        panic(err.Error())
    }
    defer db.Close()
    var user User
    err = db.QueryRow("SELECT * FROM user WHERE name =? AND pass =?",udata["username"],udata["password"]).Scan(&user.ID,&user.Name,&user.Pass)
    switch {
    case err == sql.ErrNoRows:
        fmt.Println("レコードが存在しません")
        return false
    case err != nil:
        panic(err.Error())
        return false
    default:
        fmt.Println(user.ID, user.Name,user.Pass)
        return true
    }
}

package user

import (

"fmt"

"database/sql"

_ "github.com/go-sql-driver/mysql"

)

type User struct {

ID int

Name string

Pass string

}

func User_chk(udata map[string]string) bool {

db,err := sql.Open("mysql","stuff:%23fv323Ln@tcp(127.0.0.1)/users")

if err != nil {

panic(err.Error())

}

defer db.Close()

var user User

err = db.QueryRow("SELECT * FROM user WHERE name =? AND pass =?",udata["username"],udata["password"]).Scan(&user.ID,&user.Name,&user.Pass)

switch {

case err == sql.ErrNoRows:

fmt.Println("レコードが存在しません")

return false

case err != nil:

panic(err.Error())

return false

default:

fmt.Println(user.ID, user.Name,user.Pass)

return true

}

CSS

asset/css/style.css

#login_form {
    position: absolute;
    top: 20%;
    left: 30%;
    right: 30%;
    bottom: 20%;
    font-size: 18px;
}

#f1 {
    background-color: #ccc;
    border-style: solid;
    border-width: 1px;
}
.f1_label {
    white-space: nowrap;
}

#login_form {

position: absolute;

top: 20%;

left: 30%;

right: 30%;

bottom: 20%;

font-size: 18px;

}

#f1 {

background-color: #ccc;

border-style: solid;

border-width: 1px;

}

.f1_label {

white-space: nowrap;

}

テスト用のデータベース

今回はデバッグしやすいようにパスワードを暗号化していません。次のその２のシリーズで暗号化する予定です。

CREATE DATABASE users;

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` text NOT NULL,
  `pass` text NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8;

INSERT INTO `user` VALUES (1,'john','test001'),(2,'michael','test002'),(3,'rebecca','test003');

CREATE DATABASE users;

CREATE TABLE `user` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`name` text NOT NULL,

`pass` text NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8;

INSERT INTO `user` VALUES (1,'john','test001'),(2,'michael','test002'),(3,'rebecca','test003');

タグ: Go言語, neo, フレームワーク, 初心者WEB

Python3 Bottleフレームワーク入門（その１２）- ReverseProxy方式 Bottle連携SSL Apache起動

2018年7月27日Linux Tips, Python Bottle Framework, テクニカル, トピックス, ノウハウ

投稿者：担当者

前回の章ではWSGI方式で行ったが今回はRverseProxy方式のApache連携を紹介する。ReverseProxy方式は透過型のProxyで内部で動作しているhttp方式のWEBサーバをお手軽に安全にラッピングしてくれる方式である。内部サーバのコンテンツ作りに不安があるならこの方式が良いと思います。また、内部のシステムが簡単にhttpsに置き換えられないなら、この方法で強引に変更できれば簡単にすみますね！非常に便利なリバースプロキシーです

転送先内部サーバー

いつものごとくありがちなサンプルコード。127.0.0.1で設定しておくと更に安全な接続になります。ローカルホストは外部から接続できませんので。

from bottle import route, run, template,default_app
 
@route('/hello/<name>')
def index(name):
    return template('<b>Hello {{name}}</b>!', name=name)
 
if __name__ == "__main__":
    run(host="127.0.0.1",port=8080, quiet=False, reloader=True)

from bottle import route, run, template,default_app

@route('/hello/<name>')

def index(name):

return template('<b>Hello {{name}}</b>!', name=name)

if __name__ == "__main__":

run(host="127.0.0.1",port=8080, quiet=False, reloader=True)

Apacheのリバースプロキシー設定

ほんのすこしだけ手を加えればリバースプロキシーになります。ProxyPassとProxyPassReverseの箇所だけです。Proxy先のpythonサーバ&プログラムはマルチスレッド通信でなおかつスレッドセーフなコーディングになっていることが前提です。

LoadModule wsgi_module modules/mod_wsgi.so
Listen 443 https
<VirtualHost *:443>

    ServerName www.pytest.net:443
    # Use separate log files for the SSL virtual host; note that LogLevel
    # is not inherited from httpd.conf.
    ErrorLog logs/www.pytest.net_ssl_error_log
    TransferLog logs/www.pytest.net_ssl_access_log
    LogLevel warn

    SSLEngine on
    SSLProtocol all -SSLv2 -SSLv3 -TLSV1
    SSLCipherSuite HIGH:MEDIUM:!aNULL:!MD5:!SSLv3:!SSLv2:!TLSv1
    SSLProxyEngine on
    SSLCertificateFile    /home/works/ope/cert/www.pytest.net.crt
    SSLCertificateKeyFile /home/works/ope/cert/private.key
    SSLCertificateChainFile /home/works/ope/cert/ca-bundle.ca
    SetEnvIf User-Agent ".*MSIE.*" nokeepalive ssl-unclean-shutdown
    ProxyPass / http://127.0.0.1:8080/
    ProxyPassReverse / http://127.0.0.1:8080/

</VirtualHost>

LoadModule wsgi_module modules/mod_wsgi.so

Listen 443 https

ServerName www.pytest.net:443

# Use separate log files for the SSL virtual host; note that LogLevel

# is not inherited from httpd.conf.

ErrorLog logs/www.pytest.net_ssl_error_log

TransferLog logs/www.pytest.net_ssl_access_log

LogLevel warn

SSLEngine on

SSLProtocol all -SSLv2 -SSLv3 -TLSV1

SSLCipherSuite HIGH:MEDIUM:!aNULL:!MD5:!SSLv3:!SSLv2:!TLSv1

SSLProxyEngine on

SSLCertificateFile /home/works/ope/cert/www.pytest.net.crt

SSLCertificateKeyFile /home/works/ope/cert/private.key

SSLCertificateChainFile /home/works/ope/cert/ca-bundle.ca

SetEnvIf User-Agent ".*MSIE.*" nokeepalive ssl-unclean-shutdown

ProxyPass / http://127.0.0.1:8080/

ProxyPassReverse / http://127.0.0.1:8080/

</VirtualHost>

リバースプロキシー起動

# systemctl start httpd
or
# systemctl restart httpd

# systemctl start httpd

# systemctl restart httpd

サイトにアクセスする例

/hello/の後に任意の文字列を入れてください。ページボディに表示されます。

尚、予めテストサーバにIPアドレスを割り当て名前をWindowsのHostsに登録しておけば下記のように名前ベースのホスト名で実験ができます。

Python Bottle Framework入門全１３回: 1.基礎編サーバ起動; 2.リクエストメソッド; 3.ORM Peewee (MySQL); 4.ORM Peewee CRUD; 5.Cookie And Session; 6.Abort and Redirect; 7.マルチスレッドWEBサーバ; 8.デーモン化; 9.Json; 10.WSGI on SSL; 11.Apache連携起動(外部WSGI) SSL接続; 12.Apache連携起動(ReverseProxy)SSL接続; 13.hprox連携起動(ReverseProxy)SSL接続&HTTP2対応

合わせて読みたいPython MySQL操作関連

タグ: Bottle, Python3, ReverseProxy, SSL, WSGI, フレームワーク

Python3 Bottleフレームワーク入門（その１１）- WSGI方式 Bottle連携SSL Apache起動

2018年7月26日Python Bottle Framework, トピックス, ノウハウ

投稿者：担当者

WEBサーバーでApacheと連携したいと思う人は多いと思います。いままで紹介していなかったので改めて見本を掲載したいと思います。ApacheとBottleの連携方法は２種類あります。１つはこれから紹介する外部WSGI連携とリバースプロキシーで対応する方法です。プログラミングでセキュリティに不安な人は後者が良い場合が多いかもしれません。同時アクセス数とパフォーマンスを重視するなら前者だと思います。

シンプルな起動メインコード

それでは最初にメインのソースコードを書いていきたいと思います。元々WSGI対応しているBottleですから記述はシンプルです。下記コードは直接Pythonコマンドで指定起動もOK。Apacheの場合はelse分岐の方で起動します。このファイルは取り敢えずindex.pyという名前にしておきましょう。

from bottle import route, run, template,default_app

@route('/hello/<name>')
def index(name):
    return template('<b>Hello {{name}}</b>!', name=name)

if __name__ == "__main__":
    run(host="0.0.0.0",port=8080, quiet=False, reloader=True)
else:
    application = default_app()

from bottle import route, run, template,default_app

@route('/hello/<name>')

def index(name):

return template('<b>Hello {{name}}</b>!', name=name)

if __name__ == "__main__":

run(host="0.0.0.0",port=8080, quiet=False, reloader=True)

else:

application = default_app()

Apacheの仮想サーバ設定

/etc/httpd/conf.d/python.confとして配置した場合の記述です。これは仮想サーバの設定です。予めmod_wsgiはインストールしておいてください。

肝はWSGIDaemonProcessの部分です。スレッド関連のパラメータを記述していますがきちんと設定しましょうね。これを正しく設置しないとスレッドセーフにならない場合があるため要注意です。DoS攻撃されたらイチコロです。実勢のアクセス量にあわせてチューニングしてください。maximum-requestsはこの値を超えるとカレントプロセスが破棄され新プロセスが再作成されます。ごみメモリもクリアされます。WSGIDaemonProcessのpython-pathの値は自分の環境に合わせ設定してください。python-homeは仮想環境のときに使います。また仮想環境ではないが複数のpythonバージョンが存在するならpython-pathを明示的に使用します。python仮想環境を使って利用する場合はglobalで設定し起動すれば明示的な指定は不要かもしれません。

呼び出すpythonコードの中身を考慮しないで考えた場合はプロセス数とスレッドに関してはもし貴方がプログラムのコードをマルチに動作させることに自信がないのならまずはスレッドセーフにできるだけ安全確実なのはprocess数は任意としてthreadsは’1’にすることです。（もちろん複数のリクエストに対して競合が起きないようにしていないと論外ですよ。）proxy側と呼び出すpython側のプログラムがマルチプロセス・マルチスレッドでスレッドならApacheとpythonプログラムが適正なセッション数で処理できるようprocess＆thredsを調整することもできます。つまり後方の呼び出されるプログラムがシングルスレッドなのか、マルチスレッドなのか、マルチプロセスマルチスレッドなのかで状況が違ってきます。それが分かりにくいならthreadsを’1’にしておくことが無難なのです。余裕があるならapacheとpythonアプリケーションのスレッドコネクションの生成の仕方を相互に見極めて調整してゆくと良いでしょう。スレッドの生成が相互に噛み合わないとプログラムが落ちてしまうので注意が必要です。テストに負荷テストのプログラムを使ってthredsやprocessの値を相互（apache側、python側の双方）に調整してゆくことでもっと本格的な設定が可能になります。

LoadModule wsgi_module modules/mod_wsgi.so
Listen 443 https
<virtualHost *:443>

   ServerAdmin ichinohe@netmars.mobi
   ServerName www.pytest.net
   DocumentRoot /var/www/vhosts/pydo
   SSLEngine on
   SSLProtocol all -SSLv2 -SSLv3 -TLSV1
   SSLCipherSuite HIGH:MEDIUM:!aNULL:!MD5:!SSLv3:!SSLv2:!TLSv1
   WSGIDaemonProcess py_app processes=25 threads=1 maximum-requests=1000 python-path=/usr/local/lib/python3.5/site-packages
   WSGIProcessGroup py_app
   WSGIScriptAlias / /var/www/vhosts/pydo/index.py
   SSLCertificateFile    /etc/httpd/conf.d/auth/www.pytest.net.crt
   SSLCertificateKeyFile /etc/httpd/conf.d/auth/private.key
   SSLCertificateChainFile /etc/httpd/conf.d/auth/ca-bundle.ca
   SetEnvIf User-Agent ".*MSIE.*"mnokeepalive ssl-unclean-shutdown
   CustomLog logs/pytest_access_log common
   ErrorLog logs/pytest_error_log
   AddHandler wsgi-script .wsgi .py
   <Directory /var/www/vhosts/pydo>

      Options All -Indexes
      Order deny,allow
      Allow from all

      AllowOverride All

   </Directory>

</VirtualHost>

LoadModule wsgi_module modules/mod_wsgi.so

Listen 443 https

ServerAdmin ichinohe@netmars.mobi

ServerName www.pytest.net

DocumentRoot /var/www/vhosts/pydo

SSLEngine on

SSLProtocol all -SSLv2 -SSLv3 -TLSV1

SSLCipherSuite HIGH:MEDIUM:!aNULL:!MD5:!SSLv3:!SSLv2:!TLSv1

WSGIDaemonProcess py_app processes=25 threads=1 maximum-requests=1000 python-path=/usr/local/lib/python3.5/site-packages

WSGIProcessGroup py_app

WSGIScriptAlias / /var/www/vhosts/pydo/index.py

SSLCertificateFile /etc/httpd/conf.d/auth/www.pytest.net.crt

SSLCertificateKeyFile /etc/httpd/conf.d/auth/private.key

SSLCertificateChainFile /etc/httpd/conf.d/auth/ca-bundle.ca

SetEnvIf User-Agent ".*MSIE.*"mnokeepalive ssl-unclean-shutdown

CustomLog logs/pytest_access_log common

ErrorLog logs/pytest_error_log

AddHandler wsgi-script .wsgi .py

Options All -Indexes

Order deny,allow

Allow from all

AllowOverride All

</Directory>

</VirtualHost>

Apache起動

# systemctl start httpd
or
# systemctl restart httpd

# systemctl start httpd

# systemctl restart httpd

サイトにアクセスする例

/hello/の後に任意の文字列を入れてください。ページボディに表示されます。

尚、予めテストサーバにIPアドレスを割り当て名前をWindowsのHostsに登録しておけば下記のように名前ベースのホスト名で実験ができます。

Python Bottle Framework入門全１３回: 1.基礎編サーバ起動; 2.リクエストメソッド; 3.ORM Peewee (MySQL); 4.ORM Peewee CRUD; 5.Cookie And Session; 6.Abort and Redirect; 7.マルチスレッドWEBサーバ; 8.デーモン化; 9.Json; 10.WSGI on SSL; 11.Apache連携起動(外部WSGI) SSL接続; 12.Apache連携起動(ReverseProxy)SSL接続; 13.hprox連携起動(ReverseProxy)SSL接続&HTTP2対応

タグ: Apache, Bottle, Python, WSGI, フレームワーク, 連携

Python3 Bottleフレームワーク入門（その１０）- WSGI via uwsgi Server on SSL

2018年5月27日Python Bottle Framework, トピックス, ノウハウ

投稿者：担当者

今回は、Pythonでお馴染みのWSGI（外部サーバ）の技術を使ったSSL接続を試してみます。

WSGIとはシンプルすぎて非常にわかりにくいものですが、簡単に言うと通常コマンドラインで標準出力しているものを内部及び外部のhttpサーバで使われているネットワークの土管にバイパスしてブラウザへの表示を拝借してしまおうという発想です。

bottleフレームワークはもとからWSGIの内部WEBサーバを走らせる機能が標準装備しているため外部WEBサーバ使う理由に何が必要なのか？という疑問を持つ人もいると思います。それはbottleの標準WEBサーバはシングルスレッドなので多くの接続を処理したり、SSL接続をしたい場合はこのようにWSGIの外部サーバ連携する技術を駆使しないと現実的なWEBサーバとして利用できないのです。ではまず最初にbottleで簡単なWEBサーバを起動してみましょう。

from bottle import route, run, template,default_app
from bottle import TEMPLATE_PATH

@route('/')
def index():
    return "Hello World! Bottle Simple Web Server!"

if __name__ == '__main__':
    run(host='0.0.0.0', port=80)

from bottle import route, run, template,default_app

from bottle import TEMPLATE_PATH

@route('/')

def index():

return "Hello World! Bottle Simple Web Server!"

if __name__ == '__main__':

run(host='0.0.0.0', port=80)

index.pyを実行するとシンプルなWEBサーバ(正確に言うとシングルスレッド内部WSGIサーバです。)が起動します。

# python index.py

1	# python index.py

ここまでは誰でも普段からやっていると思います。

今度はこれを外部接続WSGI仕様に変えてソースを改良します。
特にWSGI関連ライブラリーを呼び出す必要はありません。ポイントはapplicationというクラスです。uWSGIから呼び出すため、mainは生成されずelseへ分岐します。ここへbottleのインスタンスを渡してあげます。このケースではdefault_app()ですが、もしご自分でbottleのインスタンスを他の変数やクラスへ継承させているならそれを代入しましょう。これがWSGI仕様にする要になります。

from bottle import route, run, template,default_app
from bottle import TEMPLATE_PATH

@route('/')
def index():
    return "Hello World! Bottle and uWSGI!"

if __name__ == '__main__':
    run(host='0.0.0.0', port=80)
else:
    application = default_app()

from bottle import route, run, template,default_app

from bottle import TEMPLATE_PATH

@route('/')

def index():

return "Hello World! Bottle and uWSGI!"

if __name__ == '__main__':

run(host='0.0.0.0', port=80)

else:

application = default_app()

最下行にたった２行が追加されました。たったこれだけです。大変シンプルですね。

次はuwsgiというシンプルな外部WSGI接続が可能なWEBサーバーをpipでインストールします。

# pip3 install uwsgi
# uwsgi --http 0.0.0.0:8080 --wsgi-file index.py

1 2	# pip3 install uwsgi # uwsgi --http 0.0.0.0:8080 --wsgi-file index.py

これでブラウザへ接続をすれば「Hello World! Bottle and uWSGI!」と表示されます。

次にwsgiでSSL接続を行ってみましょう。pythonのプログラムは特に修正する必要はありません。uwsgiのネットワークトンネルを拝借していますから、SSLの処理はuwsgiの機能で行います。

テスト環境でSSLサーバの設置を行う場合のやり方

よくオレオレ証明書を使う方がいますが、今は安いSSL証明書なら年間ライセンス1000円程度で購入できます。私はテスト用に1000円のSSLライセンスを購入して実験利用しています。
テスト環境で実験する場合はWindows側では”c:\Windows\System32\Drivers\etc\hosts”を管理者権限モードでテキストエディタで開いてDNSの照合よりも先にhostsファイルに登録したドメインとIPアドレスを参照するように予めテスト用のドメインを登録しておきます。ドメイン認証だけのSSLならこれでうまくいきます。それ以外の認証が入っている高価なSSLだと「安全ではない」がでるかもしれません。

こうすることで、SSL証明書のドメインとテスト用のサーバのドメインを一致させブラウザを騙します。そうしないとhttps接続時に赤色でバツや三角がブラウザ上のURLそばのアイコンが表示されます。

証明書の準備と取得証明書のマージ処理からサーバ起動まで

証明書が購入できたら次に作業するフォルダーに証明書用のフォルダーを作成します。今はとりあえずauthという名前のフォルダーを作成します。そこに購入した証明書ファイルを配置します。以下のような最低でも３種類のファイルが必要となります。

サーバー証明書(server.crt)
サーバ秘密鍵(server.key)
中間証明書(ca-bundle.ca)

これらのファイルで中間証明書はuwsgiコマンドのパラメータで指定する事ができないため、中間証明書とサーバ証明書は１つのファイルにマージします。

# cat server.crt ca-bundle.ca > integrated.crt

1	# cat server.crt ca-bundle.ca > integrated.crt

マージされた証明書は必ず一度エディターで中を開けてチェックして下さい。順番は関係あります。サーバ証明書が一番上に来るようにして下さい。また中間証明書はサーバ証明書のend区切りコメントに連続にならないように改行を必ず入れてください。そうしないとエラーになります。

下記は証明書を結合した場合の証明書同士のボーダーを示しています。予め結合する前にサーバ証明書に改行を入れておくと安全です。必ず結合後はチェックしましょう。

次のようにuwsgiを起動する際に鍵ファイルや証明書を指定します。

# uwsgi --master --https 0.0.0.0:443,auth/integrated.crt,auth/server.key,HIGH   --wsgi-file index.py

1	# uwsgi --master --https 0.0.0.0:443,auth/integrated.crt,auth/server.key,HIGH --wsgi-file index.py

実際の実行時のターミナル画面は次のようになります。

実際に本番稼働させる場合は実行用のユーザとグループを用意してchrootさせて実行すると以下の警告はなくなります。

その他uwsgiの実行オプションはここ

パラメータでスレッド数、プロセス数やパフォーマンスに関するその他の項目、ログの場所など細かくチューニングが可能です

スレッド数やプロセス数を増やせば必ずしもマルチスレッドに対応したコンテンツになるとは限りません。例えばコンテンツがREAD主体の静的コンテンツはスレッド数やプロセス数を増やせばマルチスレッドになると思いますが、動的に変化するコンテンツは内部側でもマルチスレッド対応(thread_safeは必須)にしないと駄目なケースが多いと思います。というか、多くのケースはPythonコンテンツ側もマルチスレッド動作に対応する必然性があるかもしれません。マルチスレッド対応とは２種類の意味があります。DBなどファイル書き込みが複数のスレッドで競合が起きないようにするという意味と複数のコネクションを１プロセスで捌くという意味です。今回の場合はスクリプト起動なので必要最低限で前者が必須のケースです。マルチスレッド通信はProxyタイプ通信で連携する場合では必須なので他の章を参考にしてください。

[root@localhost wsgi]# uwsgi --master --https 0.0.0.0:443,auth/server.crt,auth/server.key,HIGH   --wsgi-file index.py
*** Starting uWSGI 2.0.17 (64bit) on [Sun May 27 19:50:58 2018] ***
compiled with version: 4.8.5 20150623 (Red Hat 4.8.5-28) on 27 May 2018 07:45:36
os: Linux-3.10.0-862.2.3.el7.x86_64 #1 SMP Wed May 9 18:05:47 UTC 2018
nodename: localhost.localdomain
machine: x86_64
clock source: unix
pcre jit disabled
detected number of CPU cores: 1
current working directory: /root/works/wsgi
detected binary path: /usr/local/bin/uwsgi
uWSGI running as root, you can use --uid/--gid/--chroot options
*** WARNING: you are running uWSGI as root !!! (use the --uid flag) *** 
your processes number limit is 7232
your memory page size is 4096 bytes
detected max file descriptor number: 1024
lock engine: pthread robust mutexes
thunder lock: disabled (you can enable it with --thunder-lock)
uWSGI http bound on 0.0.0.0:443 fd 4
uwsgi socket 0 bound to TCP address 127.0.0.1:45638 (port auto-assigned) fd 3
uWSGI running as root, you can use --uid/--gid/--chroot options
*** WARNING: you are running uWSGI as root !!! (use the --uid flag) *** 
Python version: 3.5.2 (default, May 26 2018, 18:31:29)  [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)]
*** Python threads support is disabled. You can enable it with --enable-threads ***
Python main interpreter initialized at 0x1df5120
uWSGI running as root, you can use --uid/--gid/--chroot options
*** WARNING: you are running uWSGI as root !!! (use the --uid flag) *** 
your server socket listen backlog is limited to 100 connections
your mercy for graceful operations on workers is 60 seconds
mapped 145840 bytes (142 KB) for 1 cores
*** Operational MODE: single process ***
WSGI app 0 (mountpoint='') ready in 0 seconds on interpreter 0x1df5120 pid: 27627 (default app)
uWSGI running as root, you can use --uid/--gid/--chroot options
*** WARNING: you are running uWSGI as root !!! (use the --uid flag) *** 
*** uWSGI is running in multiple interpreter mode ***
spawned uWSGI master process (pid: 27627)
spawned uWSGI worker 1 (pid: 27628, cores: 1)
spawned uWSGI http 1 (pid: 27629)

[root@localhost wsgi]# uwsgi --master --https 0.0.0.0:443,auth/server.crt,auth/server.key,HIGH --wsgi-file index.py

*** Starting uWSGI 2.0.17 (64bit) on [Sun May 27 19:50:58 2018] ***

compiled with version: 4.8.5 20150623 (Red Hat 4.8.5-28) on 27 May 2018 07:45:36

os: Linux-3.10.0-862.2.3.el7.x86_64 #1 SMP Wed May 9 18:05:47 UTC 2018

nodename: localhost.localdomain

machine: x86_64

clock source: unix

pcre jit disabled

detected number of CPU cores: 1

current working directory: /root/works/wsgi

detected binary path: /usr/local/bin/uwsgi

uWSGI running as root, you can use --uid/--gid/--chroot options

*** WARNING: you are running uWSGI as root !!! (use the --uid flag) ***

your processes number limit is 7232

your memory page size is 4096 bytes

detected max file descriptor number: 1024

lock engine: pthread robust mutexes

thunder lock: disabled (you can enable it with --thunder-lock)

uWSGI http bound on 0.0.0.0:443 fd 4

uwsgi socket 0 bound to TCP address 127.0.0.1:45638 (port auto-assigned) fd 3

uWSGI running as root, you can use --uid/--gid/--chroot options

*** WARNING: you are running uWSGI as root !!! (use the --uid flag) ***

Python version: 3.5.2 (default, May 26 2018, 18:31:29) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)]

*** Python threads support is disabled. You can enable it with --enable-threads ***

Python main interpreter initialized at 0x1df5120

uWSGI running as root, you can use --uid/--gid/--chroot options

*** WARNING: you are running uWSGI as root !!! (use the --uid flag) ***

your server socket listen backlog is limited to 100 connections

your mercy for graceful operations on workers is 60 seconds

mapped 145840 bytes (142 KB) for 1 cores

*** Operational MODE: single process ***

WSGI app 0 (mountpoint='') ready in 0 seconds on interpreter 0x1df5120 pid: 27627 (default app)

uWSGI running as root, you can use --uid/--gid/--chroot options

*** WARNING: you are running uWSGI as root !!! (use the --uid flag) ***

*** uWSGI is running in multiple interpreter mode ***

spawned uWSGI master process (pid: 27627)

spawned uWSGI worker 1 (pid: 27628, cores: 1)

spawned uWSGI http 1 (pid: 27629)

ブラウザから以下のようにアクセスができたら成功です。中間証明書がきちんと登録ができていないと今のブラウザは厳しいので「このサイトは安全でない」と表示されるので要注意です。必ず中間証明書とサーバー証明書をマージして区切り線が前後に改行されていることを確認しましょう。

Python Bottle Framework入門全１３回: 1.基礎編サーバ起動; 2.リクエストメソッド; 3.ORM Peewee (MySQL); 4.ORM Peewee CRUD; 5.Cookie And Session; 6.Abort and Redirect; 7.マルチスレッドWEBサーバ; 8.デーモン化; 9.Json; 10.WSGI on SSL; 11.Apache連携起動(外部WSGI) SSL接続; 12.Apache連携起動(ReverseProxy)SSL接続; 13.hprox連携起動(ReverseProxy)SSL接続&HTTP2対応

合わせて読みたいPython MySQL操作関連

タグ: Bottle, Python, SSL, uwsgi, WSGI, フレームワーク

Python3 Bottleフレームワーク入門（その９）- Json

2017年8月28日Python Bottle Framework, トピックス

投稿者：担当者

Bottleに限ったjsonの返却の仕方という訳ではないが、特定URLを叩いた時のjson返却方法を試してみる。REST APIのようなものを作る時の基礎として掲載する。

from bottle import Bottle,route,abort,template
import simplejson as json

app = Bottle()

tasks = [
          {
             'id': 1,
             'title': u'Buy groceries',
             'description': u'Milk, Cheese, Pizza, Fruit, Tylenol',
             'done': False
          },
          {
             'id': 2,
             'title': u'Learn Python',
             'description': u'Need to find a good Python tutorial on the web',
             'done': False
          }
         ]

@app.route('/api/v1.0/tasks', methods=['GET'])
def get_tasks():
        return json.dumps({'tasks': tasks})

@app.route('/json/<uid>/<collection>/<group>/<items:path>')
def add(uid, collection, group, items):
    return json.dumps({'uid':uid, 'collection':collection, 'group':group,'items':items})

if __name__ == '__main__':
     app.run(host="0.0.0.0",port="8080",debug=True)

from bottle import Bottle,route,abort,template

import simplejson as json

app = Bottle()

tasks = [

{

'id': 1,

'title': u'Buy groceries',

'description': u'Milk, Cheese, Pizza, Fruit, Tylenol',

'done': False

{

'id': 2,

'title': u'Learn Python',

'description': u'Need to find a good Python tutorial on the web',

'done': False

}

]

@app.route('/api/v1.0/tasks', methods=['GET'])

def get_tasks():

return json.dumps({'tasks': tasks})

@app.route('/json/<uid>/<collection>/<group>/<items:path>')

def add(uid, collection, group, items):

return json.dumps({'uid':uid, 'collection':collection, 'group':group,'items':items})

if __name__ == '__main__':

app.run(host="0.0.0.0",port="8080",debug=True)

※http://xxx.xxx.xxx.xxx/api/v1.0/tasks で実験。

※http://xxx.xxx.xxx.xxx/json/1/2/3/pathfindで実験。

合わせて読みたいJson記事

FORM入力をJSONでサーバへ送出する仕組みの基本的な例（Vue.jsを使った場合）

Python Bottle Framework入門全１３回: 1.基礎編サーバ起動; 2.リクエストメソッド; 3.ORM Peewee (MySQL); 4.ORM Peewee CRUD; 5.Cookie And Session; 6.Abort and Redirect; 7.マルチスレッドWEBサーバ; 8.デーモン化; 9.Json; 10.WSGI on SSL; 11.Apache連携起動(外部WSGI) SSL接続; 12.Apache連携起動(ReverseProxy)SSL接続; 13.hprox連携起動(ReverseProxy)SSL接続&HTTP2対応

合わせて読みたいPython MySQL操作関連

タグ: Bottle, Json, Python, フレームワーク

Go言語初心者向けWEB講座その１：neoフレームワーク　（簡単な認証、サインアップ、ログインを準備）

Go言語初心者向けWEB講座その１：neoフレームワーク　（簡単な認証、サインアップ、ログインを準備）

neoフレームワークのインストール

neoのコンフィギューレーションファイル

ファイル構成

メインのソースコード

テンプレートの用意

ユーザ認証処理

CSS

テスト用のデータベース

Python3 Bottleフレームワーク入門（その１２）- ReverseProxy方式 Bottle連携SSL Apache起動

転送先内部サーバー

Apacheのリバースプロキシー設定

リバースプロキシー起動

サイトにアクセスする例

合わせて読みたいPython MySQL操作関連

Python3 Bottleフレームワーク入門（その１１）- WSGI方式 Bottle連携SSL Apache起動

シンプルな起動メインコード

Apacheの仮想サーバ設定

Apache起動

サイトにアクセスする例

Python3 Bottleフレームワーク入門（その１０）- WSGI via uwsgi Server on SSL

テスト環境でSSLサーバの設置を行う場合のやり方

証明書の準備と取得証明書のマージ処理からサーバ起動まで

合わせて読みたいPython MySQL操作関連

Python3 Bottleフレームワーク入門（その９）- Json

合わせて読みたいJson記事

合わせて読みたいPython MySQL操作関連

Tags

本日の記事Rating(毎日PM0:00リセット)

人気の記事（総合）

人気(Python/Security)記事

Go言語初心者向けWEB講座その１：neoフレームワーク （簡単な認証、サインアップ、ログインを準備）

Go言語初心者向けWEB講座その１：neoフレームワーク （簡単な認証、サインアップ、ログインを準備）

neoフレームワークのインストール

neoのコンフィギューレーションファイル

ファイル構成

メインのソースコード

テンプレートの用意

ユーザ認証処理

CSS

テスト用のデータベース

Python3 Bottleフレームワーク入門（その１２）- ReverseProxy方式 Bottle連携SSL Apache起動

転送先内部サーバー

Apacheのリバースプロキシー設定

リバースプロキシー起動

サイトにアクセスする例

合わせて読みたいPython MySQL操作関連

Python3 Bottleフレームワーク入門（その１１）- WSGI方式 Bottle連携SSL Apache起動

シンプルな起動メインコード

Apacheの仮想サーバ設定

Apache起動

サイトにアクセスする例

Python3 Bottleフレームワーク入門（その１０）- WSGI via uwsgi Server on SSL

テスト環境でSSLサーバの設置を行う場合のやり方

証明書の準備と取得証明書のマージ処理からサーバ起動まで

合わせて読みたいPython MySQL操作関連

Python3 Bottleフレームワーク入門（その９）- Json

合わせて読みたいJson記事

合わせて読みたいPython MySQL操作関連

Tags

本日の記事Rating(毎日PM0:00リセット)

人気の記事（総合）

人気(Python/Security)記事

Go言語初心者向けWEB講座その１：neoフレームワーク　（簡単な認証、サインアップ、ログインを準備）

Go言語初心者向けWEB講座その１：neoフレームワーク　（簡単な認証、サインアップ、ログインを準備）