标签Apache下的文章

Jerry Bendy 发布于 10月12, 2016

Nginx/Apache 日志分析工具 GoAccess 的安装和基本用法

goAccess

GoAccess 是一款轻量、快速的日志分析工具,可以很方便的用于 Nginx/Apache/IIS 等的日志分析上,可以直接在控制台中方便的查看分析结果,也可以将结果导出成 html、csv、json 等格式,甚至还可以支持控制台和 html 的实时刷新!可谓是非常之强大。

安装

GoAccess 的安装非常之简单,CentOS/Fedore 下直接执行 yum install goaccess 即可,Debian/Ubuntu 下使用 apt-get install goaccess,OS X 可以用 brew install goaccess 安装。

源码编译安装

如果需要最新版本可以直接使用源码编译安装。官网下载页面 有源码的下载地址和安装方式,以 CentOS 和当前版本的 GoAccess 为例:

1、安装依赖包。

如果需要启用 IP 解析支持需要安装 geoip 库。CentOS 下执行:

$ yum install geoip-devel

GeoIP 在 Ubuntu 下的包名为 libgeoip-dev,其它系统详见官网下载页最后面的 Distribution Packages

2、下载源码并解压

$ cd /usr/local/src
$ wget http://tar.goaccess.io/goaccess-1.0.2.tar.gz 
$ tar -xzvf goaccess-1.0.2.tar.gz
$ cd goaccess-1.0.2/

3、配置并安装

$ ./configure --enable-geoip --enable-utf8 
$ make 
# make install

基本用法

直接在控制台查看日志分析结果

$ goaccess -f xxxx.log

会弹出来一个窗口选择日志格式,如果是 Nginx 标准的日志格式直接选择第一项即可(空格选中,回车确认)。

输出分析结果到 html 文件

下面的命令会使用默认的配置文件导出到 HTML,如果需要使用自己的配置文件,请添加 -p 参数。

$ goaccess -f xxxx.log -o xxxxx.html

配置文件

默认的配置文件位于 /usr/local/etc/goaccess.conf,可以直接修改此文件,或者根据不同的配置需要创建不同的副本。在没有指定 -p 参数时会默认使用这个配置文件。

一般来说在配置文件中指定一下日期时间以及日志的格式即可。如果配置文件中不指定也可以在命令中通过参数指定日志的格式。

常用选项

文件选项

  • -f --log-file=<logfile> 指定日志文件的路径
  • -p --config-file=<configfile> 指定配置文件的路径

解析选项

  • -d --with-output-resolver 在导出成 HTML 或 JSON 格式时启用 IP 地址解析
  • -e --exclude-ip <IP|IP-range> 排除的 IP 或 IP 段
  • -o --output=<json|csv|html> 指定输出的文件路径,根据后缀判定输出格式
  • -q --no-query-string 忽略 URL 后的面查询字符串
  • --ignore-crawlers 忽略爬虫

配置 HTML 实时刷新

演示地址

未完成

阅读全文 »

Jerry Bendy 发布于 09月25, 2014

CodeIgniter在IIS、Apache、SAE和NginX上的伪静态设置方法

CodeIginter是一个很不错的轻量级PHP框架,文档也比较全面。关于CI去除“index.php”的伪静态设置在官方的文档中却只提及了一点,而且给出的方法对于静态文件还会出现错误。

以下的内容并非是原创,而是整理了CI在不同服务器下的伪静态设置方法放在一起,供有需要的朋友复制、使用。

Apache服务器

Apache服务在打开URLRewrite模块后使用.htaceess文件处理伪静态规则。使用方法很简单,在网站根目录创建一个文本文件并命名为.htaccess,复制下面的内容进去保存就好了。(Windows的电脑上不允许这种以点号开头的文件,不过可以使用命令提示符重命名,或者先随便用什么名字,上传到服务器后再改回成.htaccess)。

RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond $1 !^(index\.php|images|robots\.txt)
RewriteRule ^(.*)$ /index.php/$1 [L]

IIS服务器

IIS从IIS7版本开始开始使用新的URLRewrite机制,并使用web.config文件处理伪静态规则,IIS7以上版本URLRewrite插件的安装及.htaccess文件转web.config的方法请参见我的另一篇博文《IIS 7及IIS 7.5下面.htaccess转为web.config的方法》,另外贴出一份转换好的文件。在网站根目录创建文本文件并命名为web.config,把以下内容复制进去即可:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <system.webServer>
        <rewrite>
            <rules>
                <rule name="CodeIginiterRewrite" stopProcessing="true">
                    <match url="^(.*)$" ignoreCase="false" />
                    <conditions logicalGrouping="MatchAll">
                        <add input="{REQUEST_FILENAME}" matchType="IsFile" ignoreCase="false" negate="true" />
                        <add input="{R:1}" pattern="^(index\.php|images|robots\.txt)" ignoreCase="false" negate="true" />
                    </conditions>
                    <action type="Rewrite" url="/index.php/{R:1}" />
                </rule>
            </rules>
        </rewrite>
    </system.webServer>
</configuration>

NginX服务器

NginX是一个轻量级的WEB服务器,具有高并发等优势,NginX的配置可能会有些麻烦,在path_info开启的情况下修改nginx.conf文件,在对应网站的server段加入以下内容:

location / {
    if (!-e $request_filename) {
        rewrite ^/(.+)$ /index.php/$1 last;
    }
}

SAE新浪云服务

SAE有专为SAE修改的CI版本可用,对应的伪静态文件也一起贴出来吧。SAE需要在网站根目录下建立config.yaml文件,并输入以下内容:

handle:
- compress:  if ( out_header["Content-type"]=="text/css" ) compress
- compress:  if ( out_header["Content-type"]=="text/javascript" ) compress
- compress:  if ( out_header["Content-type"]=="application/javascript" ) compress
- rewrite: if(!is_dir() &amp;&amp; !is_file() &amp;&amp; path~"/") goto "/index.php/%{QUERY_STRING}"

如果文件中已有“handle”段可以在后面追加这部分内容。代码中的三行以“compress”结尾的内容是静态文件压缩,不使用压缩的话可以删除它们。

阅读全文 »

Jerry Bendy 发布于 02月18, 2014

21个非常有用的 .htaccess 提示和技巧

Apache Web 服务器可以通过 .htaccess 文件来操作各种信息,这是一个目录级配置文件的默认名称,允许去中央化的 Web 服务器配置管理。可用来重写服务器的全局配置。该文件的目的就是为了允许单独目录的访问控制配置,例如密码和内容访问。

下面是 21 个非常有用的 .htaccess 配置的提示和技巧:

1. 定制目录的 Index 文件

DirectoryIndex index.html index.php index.htm

你可以使用上面的配置来更改目录的默认页面,例如你将这个脚本放在 foo 目录,则用户请求 /foo/ 时候就会访问 /foo/index.html。

2. 自定义错误页

ErrorDocument 404 errors/404.html

当用户访问页面报错时,例如页面找不到你希望显示自定义的错误页面,你可以通过这种方法来实现。或者是动态的页面:

ErrorDocument 404 /psych/cgi-bin/error/error?404

3. 控制访问文件和目录的级别

.htaccess 经常用来限制和拒绝访问某个文件和目录,例如我们有一个 includes 文件夹,这里存放一些脚本,我们不希望用户直接访问这个文件夹,那么通过下面的脚本可以实现:

# no one gets in here!  #号开头的都是注释
deny from all[/code]
上述脚本是拒绝所有的访问,你也可以根据IP段来拒绝:
[code]# no nasty crackers in here!
order deny,allow
deny from all
allow from 192.168.0.0/24
# this would do the same thing..
#allow from 192.168.0

一般这些方法是通过防火墙来处理,但在一个生产环境中的服务器来说,这样的调整非常方便。

有时候你只是想禁止某个ip访问:

# someone else giving the ruskies a bad name..
order allow,deny
deny from 83.222.23.219
allow from all

4. 修改环境变量

环境变量包含了服务器端 CGI 的一些扩展信息,可使用 SetEnv 和 UnSetEnv 进行设置以及取消设置.

SetEnv SITE_WEBMASTER "Jack Sprat"
SetEnv SITE_WEBMASTER_URI mailto:Jack.Sprat@characterology.com

UnSetEnv REMOTE_ADDR

5. 301 重定向

如果你希望某个页面跳转到新的页面:

Redirect 301 /old/file.html http://yourdomain.com/new/file.html

下面可以实现对整个路径的重定向

RedirectMatch 301 /blog(.*) http://yourdomain.com/$1

6. 通过 .htaccess 实现缓存策略

通过设置在浏览器上缓存静态文件可以提升网站的性能:

# year
<FilesMatch "\.(ico|pdf|flv|jpg|jpeg|png|gif|swf|mp3|mp4)$">
Header set Cache-Control "public"
Header set Expires "Thu, 15 Apr 2010 20:00:00 GMT"
Header unset Last-Modified
</FilesMatch>
#2 hours
<FilesMatch "\.(html|htm|xml|txt|xsl)$">
Header set Cache-Control "max-age=7200, must-revalidate"
</FilesMatch>
<FilesMatch "\.(js|css)$">
SetOutputFilter DEFLATE
Header set Expires "Thu, 15 Apr 2010 20:00:00 GMT"
</FilesMatch>

7. 使用 GZIP 对输出进行压缩

在 .htaccess 中添加下面的代码可以将所有的 css、js 和 html 使用 GZIP 算法压缩:

<IfModule mod_gzip.c>
     mod_gzip_on       Yes
     mod_gzip_dechunk  Yes
     mod_gzip_item_include file      \.(html?|txt|css|js|php|pl)$
     mod_gzip_item_include handler   ^cgi-script$
     mod_gzip_item_include mime      ^text/.*
     mod_gzip_item_include mime      ^application/x-javascript.*
     mod_gzip_item_exclude mime      ^image/.*
     mod_gzip_item_exclude rspheader ^Content-Encoding:.*gzip.*
 </IfModule>

使用上面代码的前提是启用 mod_gzip 模块,你可以使用下面脚本来判断 Web 服务器是否提供 mod_deflate 支持:

<Location>
     SetOutputFilter DEFLATE
        SetEnvIfNoCase Request_URI  \
         \.(?:gif|jpe?g|png)$ no-gzip dont-vary
     SetEnvIfNoCase Request_URI  \
         \.(?:exe|t?gz|zip|gz2|sit|rar)$ no-gzip dont-vary
 </Location>

如果 Web 服务器不支持 mod_deflate ,那么可使用下面方法:

<FilesMatch "\.(txt|html|htm|php)">
    php_value output_handler ob_gzhandler
</FilesMatch>

8. 强制要求使用 HTTPS 访问

通过以下脚本可以强制整个网站必须使用 https 方式访问:

RewriteEngine On
RewriteCond %{HTTPS} !on
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI}

9. URL 重写

例如要将 product.php?id=12 重写为 product-12.html

RewriteEngine on
RewriteRule ^product-([0-9]+)\.html$ product.php?id=$1

将 product.php?id=12 重写为 product/ipod-nano/12.html

RewriteEngine on
RewriteRule ^product/([a-zA-Z0-9_-]+)/([0-9]+)\.html$ product.php?id=$2

重定向没有 www 到有 www 的 URL 地址:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^icewingcc\.com$
RewriteRule (.*) http://www.icewingcc.com/$1 [R=301,L]

重写 yoursite.com/user.php?username=xyz 到 yoursite.com/xyz

RewriteEngine On
RewriteRule ^([a-zA-Z0-9_-]+)$ user.php?username=$1
RewriteRule ^([a-zA-Z0-9_-]+)/$ user.php?username=$1

重定向某个域名到一个 public_html 里新的子文件夹:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^test\.com$ [OR]
RewriteCond %{HTTP_HOST} ^www\.test\.com$
RewriteCond %{REQUEST_URI} !^/new/
RewriteRule (.*) /new/$1

10. 阻止列出目录文件

使用下面代码可以防止列表目录里的所有文件:

Options -Indexes
# 或者
IndexIgnore *

11. 添加新的 MIME-Types

MIME-types 依赖于文件的扩展名,未能被识别的文件扩展名会当成文本数据传输

AddType application/x-endnote-connection enz
AddType application/x-endnote-filter enf
AddType application/x-spss-savefile sav

12. 防盗链

你不希望别人网站引用你站内的图片、css 等静态文件,也就是传说中的防盗链,可以使用如下脚本:

RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{REQUEST_URI} !^/(wp-login.php|wp-admin/|wp-content/plugins/|wp-includes/).* [NC]
RewriteCond %{HTTP_REFERER} !^http://www.askapache.com.*$ [NC]
RewriteRule \.(ico|pdf|flv|jpg|jpeg|mp3|mpg|mp4|mov|wav|wmv|png|gif|swf|css|js)$ - [F,NS,L]

13. 指定上传文件的大小限制,适用于 PHP

php_value upload_max_filesize 20M
php_value post_max_size 20M
php_value max_execution_time 200
php_value max_input_time 200

上述脚本中,通过四个参数来设置上传文件的限制,第一个参数是文件的大小,第二个是 POST 数据的大小,第三个是传输的时间(单位秒),最后一个是解析上传数据最多花费的时间(单位秒)

14. 禁止脚本执行

Options -ExecCGI
AddHandler cgi-script .php .pl .py .jsp .asp .htm .shtml .sh .cgi

15. 修改字符集和语言头

AddDefaultCharset UTF-8
DefaultLanguage en-US

16. 设置服务器时区(GMT)

SetEnv TZ America/Indianapolis

17. 强制 “File Save As” 提示

AddType application/octet-stream .avi .mpg .mov .pdf .xls .mp4

18. 保护单个文件

正常情况下 .htaccess 可用于限制整个目录的访问,但也可以只限制某个文件:

<Files quiz.html>
order deny,allow
deny from all
AuthType Basic
AuthName "Characterology Student Authcate"
AuthLDAP on
AuthLDAPServer ldap://directory.characterology.com/
AuthLDAPBase "ou=Student, o=Characterology University, c=au"
require valid-user
satisfy any
</Files>

通过环境变量来设置 Cookie

Header set Set-Cookie "language=%{lang}e; path=/;" env=lang

基于请求设置 Cookie,该代码发送 Set-Cookie 头用于设置 Cookie 值为第二个括号里的匹配项

RewriteEngine On
RewriteBase /
RewriteRule ^(.*)(de|es|fr|it|ja|ru|en)/$ - [co=lang:$2:.yourserver.com:7200:/]

20. 设置自定义的响应 Headers

Header set P3P "policyref=\"http://www.askapache.com/w3c/p3p.xml\""
Header set X-Pingback "http://www.askapache.com/xmlrpc.php"
Header set Content-Language "en-US"
Header set Vary "Accept-Encoding"

21. 根据 User-Agent 来阻止请求

SetEnvIfNoCase ^User-Agent$ .*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT
Deny from env=HTTP_SAFE_BADBOT

转自:http://www.lonery.com/article-view-35.html

阅读全文 »