SARG Gerando Relatórios do ISA Server 2004/2006
Publicado por Douglas Filipe em 14/10/2008
Sempre vejo em fóruns uma enorme procura por uma solução grátis que forneça relatórios de acesso a internet no formato usuário=site. Quem trabalha com Squid com certeza conhece o SARG e gostaria que o ISA tivesse um relatório igual. Fiz este tutorial no intuito de ajudar esses profissionais, pois em minha opinião os relatórios do ISA já são bem completos e não deixam a desejar em nada.
Este tutorial foi feito utilizando a versão Standard do ISA Server 2006.
Faça download do SARG para Windows:
- Descompacte o Sarg ISA Server.zip na unidade C:\ do seu servidor ISA.
- Altere o formato da data do sistema para dd-MMM-yy
- Abra o Gerenciamento do ISA Server selecione Monitorando depois Log e clique em Configurar Log de Proxy da Web.
4. Na tela Propriedades do Log de Proxy da Web selecione a opção Arquivo, em Formato selecione Formato do arquivo de log estendido do W3C e deixe a marque a Box Habilitar registro em log para este serviço.
5. Selecione a tab campos e marque as seguintes opções:
Marque semelhantemente todas as opções da lista abaixo pois se estiver diferente o SARG não gera relatórios
ð IP do Cliente
ð Nome de Usuário do Cliente
ð Data do Log
ð Hora do Log
ð Nome do Host de Destino
ð IP de Destino
ð Tempo de Processamento
ð Bytes Recebidos
ð Bytes Enviados
ð Protocolo
ð Metodo HTTP
ð URL
ð Código do Status HTTP
6. Ir até a pasta C:\Sarg\etc e edite os arquivos exclude_users.txt e exclude-hosts.txt com as informações do seu domínio.
7. Crie uma tarefa agendada para executar o arquivo C:\Sarg\Relatorio.bat
Esta tarefa deve ser configurada de acordo com o horário que o log do ISA Server é sobrescrito geralmente as 21:00 hrs, verifique o horário que o seu log é sobrescrito em %ProgramFiles%\Microsoft ISA Server\ISALogs\seulog.W3C então agende esta tarefa para antes que seu log seja sobrescrito ou perderá os dados coletados no dia as 20:59 por exemplo.
8. O log do SARG será gerado em C:\Sarg\Report
Este artigo pode ser reproduzido desde que citada a fonte.
Sergio Mesquita disse
Ola!
Caro Douglas aj muito que procurava por um tutorial assim. No entanto algo me escapou, como verifica a ulilização por utilizador via Html?
douglasfilipe disse
O Relátorio é gerado no diretorio C:\Sarg\Report e fica igual ao do Squid, estou fazendo uma revisão neste tutorial vou adicionar a tela de como fica o relatorio até o fim desta semana.
Sergio Mesquita disse
Ok. No entanto corri o seu tutorial como dizia, e não me aparece essa pasta C:\Sarg\Report é necessario alguma configuração adicional?
Gracias por este tutorial
douglasfilipe disse
Deve estar faltando no arquivo .zip pode cria-la manualmente.
douglasfilipe disse
Editei o arquivo agora está completo com todas as pastas e um relatorio de exemplo.
Sergio Mesquita disse
Viva Douglas!
È a primeira vez que estou utilizando o SARG. E como deverá compreender tenho algumas duvidas. è que não consigo entender como gera os gráficos, segui todos os seus passos, no entanto quando corro o Relatorio.bat ele corre um pequeno pedaço de codigo que tem a ver com o Squid? Apenas fico com um ficheiro em .txt com os acessos, como passo esse ficheiro para Html?
douglasfilipe disse
Sergio.
Dentro da pasta C:\Sarg\etc tem um executavel sarg.exe este por sua vez le ficheiro access.txt dentro da pasta C:\Sarg\LogSarg o transforma em Html dentro da pasta C:\Sarg\Report. Se está acontecendo algum erro voce pode editar o Relatorio.bat e após a execução do sarg.exe adicione o parametro “pause” verifica o erro e post aqui que te ajudo.
Nelson disse
Boas Douglas,
Desde já muito obrigado pelo tutorial.
No meu caso o sarg le o access.txt e depois diz “no records found”
Tenho tudo configurado como no tutorial. a Versão do isa é a 2004 sp1
Já revi o sarg.conf e não encontrei nada. pode dar-me uma ajuda.
Abraço,
douglasfilipe disse
“no records found” significa que o sarg nao está encontrando nenhum registro dentro do access.log como disse no tutorial as opções do log de proxy devem estar com as seguintes box marcadas. se alguma das opções nao tiver marcada ou tiver alguma a mais o sarg gera o erro “no records found”. Marca as seguintes opções na aba campo do log de proxy da web.E verifica tambem se realmente seu log nao está vazio.
IP do Cliente
Nome de Usuário do Cliente
Data do Log
Hora do Log
Nome do Host de Destino
IP de Destino
Tempo de Processamento
Bytes Recebidos
Bytes Enviados
Protocolo
Metodo HTTP
URL
Código do Status HTTP
Abraço! e se houver duvidas continue postando!
Sergio Mesquita disse
Viva Douglas!
Me está dando este erro
C:\Programas\Microsoft ISA Server\ISALogs>cd c:\sarg\sbin
C:\SARG\sbin>sarg.exe
SARG: File not found: c:/squid/var/logs/access.log
C:\SARG\sbin>cd c:\sarg\logsarg\
C:\SARG\LogSarg>del /q *.*
C:\SARG\LogSarg>
Sergio Mesquita disse
Viva Douglas!
Já resolvi o erro anterior, bastou editar o sarg.conf, no entanto me dá o mesmo erro que ao Nelson.
C:\SARG\sbin>sarg.exe
SARG: Records in file: 99281, reading: 100.00%
SARG: No records found
SARG: End
E tenho no ISA as opções selecionadas como voce disse.
Sergio Mesquita disse
Viva!
Douglas ele transforma o access.txt ou access.log em Html?
douglasfilipe disse
Ola Sergio!
Descobri o erro, esta no sarg.conf na hora de compactar o aquivo devo ter compactado a pasta antiga, veja que ele está procurando pelo arquivo em “c:/squid/var/logs/access.log” e não em “C:\Sarg\LogSarg”. Por favor faça novamente o download.
Muito obrigado Sergio se nao tivesse me avisado nunca iria descobrir que havia zipada o arquivo antigo.
douglasfilipe disse
Sergio
Ele transforma o “Access.txt” pelo testes que fiz o sarg so apresentava este erro “SARG: Records in file: reading: 100.00%” quando alguma das opções do log de proxy da web nao estava marcada. tem como postar o inicio. veja o exemplo do do cabeçalho do meu log de proxy, atenção para o parametro #Fiedls:
#Software: Microsoft Internet Security and Acceleration Server 2006
#Version: 2.0
#Date: 2008-10-28 00:00:39
#Fields:
c-ip
cs-username
date
time
r-host
r-ip
time-taken
cs-bytes
sc-bytes
cs-protocol
s-operation
cs-uri
sc-status
Sergio Mesquita disse
Douglas aqui tem meu cabeçalho.
#Software: Microsoft Internet Security and Acceleration Server 2006
#Version: 2.0
#Date: 2008-10-28 00:00:02
#Fields:
c-ip
cs-username
date
time
r-ip
time-taken
cs-bytes
sc-bytes
cs-protocol
s-operation
cs-uri
Faltam me dois parametros.. Será por isso.
douglasfilipe disse
Sim Sergio com certeza
Sergio Mesquita disse
Douglas maravilha.. Relatorio bombando… Me falta uma coisa que devera ser simples, o tempo vem-me em percentagem, como coloco o tempo mesmo real dos utilizadores, tipo a hora que acederam ao site
douglasfilipe disse
Fico feliz que conseguiu Sergio!!!
Hum Sergio a hora de acesso terei que vasculhar o sarg.conf para ver se existe essa opção, mas acredito que seja possivel pois no log em a opção “time”, vou pesquisar e te aviso, tem msn?
Nelson disse
Boas,
O meu log está assim:
Dá sempre “no records found”
#Software: Microsoft Internet Security and Acceleration Server 2004
#Version: 2.0
#Date: 2008-10-31 00:00:11
#Fields: computer date time IP protocol source destination original client IP source network destination network action status rule application protocol bytes sent bytes sent intermediate bytes received bytes received intermediate connection time connection time intermediate username agent session ID connection ID
Abraço,
douglasfilipe disse
Olá Nelson
Seu log está com muitas opções, como disse no tutorial, se alguma opção do log nao for marcada ou for marcada a mais o SARG nao gera relatorio, ou ele dá a mensagem de “no records found” ou gera um relatorio todo embaralhado. Configure novamente os campos do seu log de proxy da web para que fique igual ao do tutorial. Veja esse exemplo abaixo só tem 13 opções selecionada que é o correto, o seu log tem bem mais que isso.
#Software: Microsoft Internet Security and Acceleration Server 2006
#Version: 2.0
#Date: 2008
#Fields:
c-ip
cs-username
date
time
r-host
r-ip
time-taken
cs-bytes
sc-bytes
cs-protocol
s-operation
cs-uri
sc-status
Nelson disse
Boas,
Já percebi o que era, tinha também o log do firewall activo e para a mesma pasta….
Configurei o log do firewall para outra pasta e já ficou a funcionar..
Abraço,
douglasfilipe disse
Otima alteração Nelson, nao havia pensado nisso bom que conseguiu!
Abraço,
Nikolas disse
Boa tarde.
Ótimo tópico, muito bom. Mas estou em duvida, nao consigo encontrar o SARG para windows. Ele é somente para LINUX mesmo ?
Abraços !
Se tiver um link, por favor, mande para nikolas2309@gmail.com
GRATO
douglasfilipe disse
No proprio tutorial tem dá uma olhada logo no começo do tuto tem um hyperlink:
“Faça download do SARG para Windows”
Ricardo disse
Boa tarde! Excelente, deu tudo certo. Agora me diga uma coisa, nos .txt eu coloco apenas o nome do meu domínio PDC (AD)? E vc sabe porque usando SecureNAT aparece somente o IP na URL (http://xxx.xxx.xxx.xxx)? Para que aparece o nome da URL (uol.com.br) preciso configurar webproxy. E por fim, por que sempre o usuário anonymous?
Valeu, abraço!
douglasfilipe disse
Boa tarde Ricardo!
Nos txt’s voce adiciona o FQDN do seu dominio exemplo: “seudominio.com.br” “seudominio.local” etc. Cara pra gerar relatorio por usuario voce terá que configurar o ISA para usar autenticação é justamente por isso aque está sempre aparecendo anonymous.
Instala o firewall client nas estações da sua rede, configura os clientes como webproxy e configure o ISA Server para usar autenticação integrada.
Ricardo disse
Entendi! Então não basta eu estar logado nas estações com usuários autenticados no domínio para que ele funcione no ISA como All Authenticated Users, preciso mesmo do ISA Client? E fugindo um pouco mais do SARG, posso deixar meu Gateway com o IP do ISA para usar SecureNAT e usar o ISA Client para Web Proxy ao mesmo tempo? Algumas aplicãções usando SecureNAT e o IE no Web Proxy.
Abraço!
Matheus disse
Olá Douglas tudo bom?!
Me perdoe, mas não entendi porque as estações SecureNAT aparecem como anonymous no log do ISA… e quanto a questão de configurar o ISA para usar autenticação? Você se refere ao definir os servidores LDAP pra onde o ISA vai validar a autenticação?
Uma outra dúvida com relação aos relatórios gerados pelo SARG… ele armazenará diariamente os relatórios na pasta Reports ou vai sobrepor todo dia?
No meu caso eu deixo com que os logs do ISA (w3c) permaneçam por 30 dias e no passo 7 você aconselha a rodar o relatorio.bat antes que o log seja sobrescrito… portanto no meu caso não terei problemas ao agendar para as 24hs correto?
Agradeço a atenção dispensada e paciência!
[]´s
Matheus
douglasfilipe disse
Olá Matheus,
Para gerar relatorios por contas de usuarios o ideal seria que seu ISA Server fosse membro do dominio. Os clientes deverão ser Webproxy autenticados, isso voce define nas propriedades do obejto da sua rede interna, na aba “proxy da web” tem a opção “autenticação”. A questão do log é a seguinte o script Relatorio.bat copia todos os w3c’s que estão na pasta de logs do ISA, ou seja, se acumular 7 arquivos ele faria a copia dos 7 e daria erro na hora de guardar a copia na pasta “C:\LogISA”. A questão do horario eu saliento para que o relatorio contenha o maximo de dados possiveis, resumindo, se seu log encerra as 21:00 e voce gera o relatorio as 19:00 ficam 2 horas de lacuna sem dados gerados.
Agradeço por postar suas duvidas e elas estão me fazendo pensar em como aprimorar mais esse artigo, com certeza em breve farei uma versão mais facil de implantar e compreender. Sabe como é duas mentes juntas pensam melhor que uma, alguns detalheres me passaram despercebidos.
Abraço e até mais!
Matheus disse
Grande Douglas,
Quanto à questão do ISA, ele já membro do domínio e na network Internal a autenticação já vem por default como Integrada, se eu não me engano… porém para as estações que estão com o endereço do ISA no GW, os usuários são anonymous… já as estações que utilizam apenas como webproxy não tenho problema…
Puts! Seria interessante se ele não desse erro na cópia de todos os arquivos de log, pois ficaria melhor agendar este job (relatorio.bat) para rodar semanalmente, trazendo os dados de acesso durante a semana… por exemplo: no sábado às 23hs… ai o relatório estaria disponível na segunda…
Mas por que ele daria o erro que você disse?
E quanto aos reports do SARG… ele vai armazenar todos ou vai sobrepor?
No que precisar estarei às ordens…
Obrigado novamente e desculpe o incômodo!
[]´s
Matheus
douglasfilipe disse
Olá Matheus,
Nessas estações voce terá que instalar o firewall client.
Não sei se voce percebeu no diretorio C:\SARG\LogISA ficam as copias dos relatorios diarios, para analise futura, eles são nomeados com o comando %date% se ao tentar fazer a copia renomeando mais de um arquivo dois arquivos com o mesmo daria erro. O ideal é que voce crie a tarefa agendada para ser executada diariamente, semanalmente o log ficaria muito grande dificultando o trabalho do SARG.
O SARG so sobropoem se relatorios forem gerados no mesmo dia, do contrario ele adiciona.
Abraços!
Matheus disse
Olha eu denovo…
Fiz um teste instalando o FW Client na minha estação, porém ao analisar o log no ISA, o acesso à internet vindo da minha estação continua como anonymous… caso eu mude meu Default GW ai sim tenho meu usuário no log do ISA…
Isso vai prejudicar os relatórios do SARG…
Tem alguma idéia do que pode ser?
[]´s
Matheus
douglasfilipe disse
Olá Matheus,
Vou tentar explicar brevemente como funciona a autenticação do ISA.
Por padrão todo Navegador (IE, Firefox) sempre tenta fazer primeiro uma conexão anonima, se a regra que libera o trafego Web é aplicada para “todos os usuarios” entao toda conexao será registrada como anonymous. Cria um grupo no seu ISA importando o Grupo do AD “Usuarios do Dominio” acho que o seu problema sera solucionado.
Porque quando o Navegador tentar fazer a conexão anonima o ISA, terá a regra valida somente para usuários do dominio e retornará ao navegador pedindo as credencias usadas no logon.
Nathan disse
Olá Douglas,
Apenas um confirmação, aqui no meu domínio usamos por padrão o login “Nome Sobrenome” (com espaço), quando rodo o .bat recebo a informação abaixo. Será por esse motivo de login com espaço?
C:\SARG\sbin>sarg.exe
SARG: Records in file: 18067, reading: 100.00%
c:/sarg/bin/sort: open failed: martins.log: No such file or directory
c:/sarg/bin/sort: open failed: fonseca.log: No such file or directory
Caso positivo, você conhece alguma maneira de eu configurar para ele considerar o login com espaço/ (procurei por aqui mas não encontrei nada).
Obrigado.
douglasfilipe disse
Com certeza o SARG originalmente é uma solução voltada para ambientes Linux/Unix e como sabemos esses ambientes nao suportam o “espaço” em nomes de arquivos.
Luiz disse
Douglas,
Parabens pela iniciativa, muito bom mesmo.
Existe a possibilidade de editar, como por exemplo, para que um grupo de usuários não apareça no relatório?
douglasfilipe disse
Luiz um Grupo do AD não, mas um grupo de contas sim. Basta voce pegar os nomes que aparecem no relatorio e adicionar as entradas em C:\Sarg\etc\exclude-users.txt e C:\Sarg\etc\exclude-hosts.txt aí voce adicionar uma a uma as contas que devem ser excluidas.
Thales disse
Parabéns pelo tutorial, muito bom.
Gostaria de saber se tem como eu tirar um relatório especifico de um usuário pelo sarg usando o isa.
Obrigado!
Thales disse
ahh, entendi, valeu.. e Feliz natal!!!
Thales disse
Me tira mais umas dúvidas meu querido.
Em que horario então fica melhor pra rodar o bat? antes de ele sobrepor certo? no meu caso ele sobrepôe as 22:00 todos dia, então agendo o bat pra 21:30? onde eu mudo o horario que ele sobrepõe esses logs no isa server?
Não entendi uma coisa, o bat contêm o seguinte:
cd\
cd “Program Files\Microsoft ISA Server\ISALogs\”
del *.w3c
copy *.w3c c:\sarg\logisa\%date%.txt
copy *.w3c c:\sarg\logsarg\access.txt
cd c:\sarg\sbin
sarg.exe
cd c:\sarg\logsarg\
Se ele deleta todos os “w3c´s” como ele vai copiar os arquivos depois que foram deletados pras respectivas pastas do sarg?
Obrigado, pela ajuda, feliz ano novo pra você!
douglasfilipe disse
Feliz ano novo tambem, espero estar te ajudando
Esse primeiro “del” é para certificar que nao tem um arquivo w3c desatualizado (por exemplo do dia anterior) na pasta dos logs, assim pode se garantir que o arquivo de log é atual e corresponde ao dia do job. Se o seu log é sobreposto as 22 hrs dá pra agendar para as 21:50 isso depende do tempo que o windows leva para copiar o w3c da pasta do ISA para a pasta “c:\sarg\logsarg\” depois que isso ocorre o SARG é executado e começa a ler o arquivo access.txt ao finalizar a leitura ele gera o relatorio em html.
Confesso a voce que ja procurei muito onde mudar o horario que o arquivo é sobreposto mas nao achei, deve ser algo interno do ISA, qualquer novidade eu aviso, e se ainda tiver duvidas continue postando.
Thales disse
Mais umas dúvidas, posso desabilitar o log do firewall deixando só o do proxy? ou isso impacta algo?
E como eu faço pra usar o Sarg no modo Realtime?
Desculpe incomodar tanto.. hehe
Obrigado
douglasfilipe disse
Não é recomendando, até porque voce nao deve utilizar somente essa solução como unica para relatorios, utilize tambem os relatorios do ISA e esse relatorio do SARG como um plus, eu fiz assim em um cliente com um servidor IIS hospedando os relatorios publicados, ficou muito bacana. O SARG nao tem como fazer realtime a nao ser que voce crie um bat para copiar o arquivo de log e gerar o relatorio mesmo assim voce terá a janela sem registros do tempo de execução desse job. O ISA tem um otimo log realtime.
Thales disse
Entendi, a última dúvida! ( prometo )
Tem como ele pegar todos os relatórios da semana ou mês e juntar e gerar um relatório semanal ou mensal?
Obrigado cara!
douglasfilipe disse
Ai voce tem que configurar o log do ISA para reter semanalmente ou mensalmente, sao os mesmos passos do tutorial so muda diario para semanal.
Thales disse
Entendi, feliz ano novo pra você, Obrigado!
Thales disse
Agora que caiu a ficha do “del *.wc3″ antes de ele copiar os mesmos.
Eu não entendia pq ele deletava todos os wc3´s e mesmo assim ele copiava o wc3 depois do del, ele não deleta o wc3 do dia por que ele não consegue, pois o arquivo está sendo usado né? por isso que tem que agendar pra alguns minutos antes de ele ser sobreposto, abraço.
Thales disse
Douglas, ele faz tudo certinho e para nesse arquivo ae, tem como o sarg ignorar isso e passar a diante pra gerar o relatório?
C:\SARG\sbin>sarg.exe
SARG: Records in file: 414301, reading: 100.00%
SARG: (report) Erro no open do arquivo: C:\sarg\report/06Jan2009-06Jan2009/dominio_efpereira/nomedopc_efpereira-www_panasonic_com_br>3E.html
douglasfilipe disse
Isso acontece quando na url desse site (www.panasonic.com) tem algum caractere especial (%$#*) ou é um site FTP baseado em UNIX a solução é abrir o access.log no notepad dar um F3 localizar a linha do site (www.panasonic.com) e apague a linha. Para que o problema nao volte a ocorrer adicione http://www.panasonic.com nos arquivos exclude-users e exclude-hosts.
Thales disse
Douglas,
Era isso mesmo, obrigado pelo apoio, você é o cara!
tkz
Thales disse
só complementando, eu add o http://www.panasonic.com.br em excludes-users e exclude-hosts, e depois rodei o sarg, porém deu o mesmo erro, só funcionou deletando a linha, Obrigado!
douglasfilipe disse
Entao cara ao adicionar o site http://www.panasonic.com nos arquivos excludes-users e exclude-hosts ele nao será mais adicionado no relatorio do sarg entao o erro nao voltara mais a acontecer, recomendo que faça isso tambem em FTP’s UNIX.
Thales disse
Desculpe a pertubação, mas vamos lá! hehe
Em um log de exemplo na página oficial do sarg, notei que ao lado de alguns sites, tem DENIED
http://sarg.sourceforge.net/squid-reports/2004Aug06-2004Sep13/user159/user159.html
Tem como isso aparecer no meu relatório tb?
Obrigado!
douglasfilipe disse
Rsss sem problema Thales, agora esse DENIED eu nao sei pq aparece nao, trabalhei 2 anos com squid e nos realtorios gerados pelo sarg nunca apareceu esse DENIED, verifica isso com a galera do pinguim. http://www.vivaolinux.com.br
Thales disse
Muito obrigado!
Thales disse
Douglas.. hehe
To procurando algo desse tipo tb:
O programa vai gerar um relatório full, gostaria que o programa reconhecesse o grupo x de usuários e mandasse um email com um report pro admin do grupo x.
Conhece algum programa que faça isso? aim, proxywinspector, etc?
Obrigado
douglasfilipe disse
É cara nos relatorios do ISA até da pra configurar o envio de email quando um relatorio é gerado, so que nao tem como dividir o conteudo do relatorio por grupos. Exemplo, o gerente do departamento de vendas so vai os acessos dos usuarios do departamento de vendas. Não conheço o proxywinspector mas acho que o webspy faz isso, mas é pago, dá uma olhada http://home.heniq.net/webspy/
Thales disse
Valeu meu brother, vou dar uma olhada
Obrigado!
filipe disse
O link está quebrado, alguem poderia me enviar o instalador ?
douglasfilipe disse
Link corrigido!
Carlos Andrade disse
Olá felipe …
Estou seguindo o seu tutorial e tenho algumas dúvidas o arquivo que descompactei não existe o arquivo exclude_users.txt mas existe o users_names.Deve ser a mesma coisa ou não?!?!? O arquivo relatorio.bat deve executar o c:\sarg\sbin\sarg.exe no horário indicado?!?! Pode me dar um exemplo desse .bat…Obrigado
douglasfilipe disse
Tenta baixar novamente porque acabei de faze-lo e vieram todos os arquivos. Dentro do pacote .zip tem todos os arquivos necessarios inclusive o .bat basta voce definir um horario para execução do mesmo
Carlos Andrade disse
Hei douglas …..muito obrigado !!!vc é um cara que entende das coisas ….naum tinha baixado desse link …mas agora eu baixei e vi o bat valew!!!!vou testar ….obrigado
Bruno Kinoshita disse
Por favor, alguem pode me enviar um arquivo w3c ja no formato correto para eu testar antes de converter minha base do ISA (ja que ele está em produção).
brunokino[at-no-spam]gmail.com
Outra dúvida, os logs antigos que eu ja tenho, é possivel converte-los?
Obrigado.
douglasfilipe disse
A conversao so é possivel atraves do ISA no log atual. Não tenho nenhum log no formato w3c pra te enviar, acho dificil alguem te enviar ja que qualquer arquivo de log contém dados sigiloso da empresa.
filipe disse
Douglas muito obrigado por ter arrumado o link.
Mas estou com um problema.
Quando executo aparece:
SARG: Records in file: 1166, reading: 100.00%
SARG: Nao ha registros
SARG: Fim
Estou lendo seu post a dois dias, para não dizer que não procurei.
Tenho exatos 13 fields no meu log. Uso o ISA 2006.
Se puder me ajudar ficarei muito grato.
Bruno Kinoshita disse
Subi um ISA de teste e consegui os arquivos.
Agora estou com o memso problema do Filipe.
Quando executo aparece:
SARG: Records in file: 2166, reading: 100.00%
SARG: Nao ha registros
SARG: Fim
Os registros estao certinho.
Ja conferir se nao esta misturado com log do firewall
ja conferi o formato da data no sistema
O que pode ser?
douglasfilipe disse
Senhores,
Esse problema ja foi descutido nos comentarios 8 ao 17, os Senhores Sergio e Nelson tiveram o mesmo problema e resolveram. Esse problema ocorre na configuração dos campos do log de proxy da web, deve estar faltando ou sobrando um campo, veriquem o cabeçalho do arquivo de log de voces.
filipe disse
Douglas, já conferi isso, como disse eu procurei bastante antes de postar. Mas ainda assim eu não consegui. Meu cabeçalho está ok com exatos 13 campos identicos. Eu noto no arquivo de texto que este tem bastante linhas com informações, mas ainda não consuigo gerar. Como uso maquinas virtuais para os testes, já formatei e fiz do zero 2 vezes e ainda não consegui.
Meu arquivo é pequeno, se quiser eu te mando.
Grato pela atenção.
filipe disse
Não sei se pode ter alguma coisa a ver com essa nova versão de arquivos que vc colocou depois de arrumar o link, eu andei olhando o .conf para ver se conseguia alguma coisa mas tambem não deu certo.
filipe disse
Este é o meu cabeçalho.
#Software: Microsoft Internet Security and Acceleration Server 2006
#Version: 2.0
#Date: 2009-01-16 17:19:03
#Fields: c-ip cs-username date time r-host r-ip time-taken cs-bytes sc-bytes cs-protocol s-operation cs-uri sc-status
douglasfilipe disse
Humm… estranho isso, tem como voce enviar o access.txt pro meu email, envia ele com uns 5MB tá bom.
Sergio disse
Douglas fiz como voce disse, para remover o anonymous. No entanto agora aparece sem nome, será que tenho que remover mais alguma coisa?
douglasfilipe disse
Como assim sem nome? aparece o IP da maquina? seu ISA esta configurado para usar autenticação basica ou integrada?
filipe disse
tem sim mas nao achei seu email
Sergio disse
Está como autenticação basica. Aparece o registo referente ao anonynous, no entanto não aparece lá o nome, esta vazio.
douglasfilipe disse
Filipe,
O cabeçalho do seu access.log está correto, o problema é que só existe a conta anonymous veja no cabeçalho do seu log abaixo de “cs-username” por esse motivo o sistema nao gera o relatorio. Se voce quiser gerar um relatorio da conta anonymous remova a mesma dos arquivos “exclude_users.txt” e exclude-hosts.txt agora nao vejo necessidade de gerar relatorio de uma conta que comtempla todos os usuarios, se o diferencial dessa solução é mostrar o acesso por usuario especifico.
Bruno Kinoshita disse
Douglas,
Muito bom seu artigo, Foi um grande passo aqui na empresa onde trabalho.
Só estou encontrando um único problema.
Meu ISA é integrado com o AD e o nome dos usuários utilizam espaço. Eu vi a resposta acima para o Nathan e agora sei que não é possivel incluir nome de usuário com espaço.
Minha única solução encontrada, foi levar para o Calc ou Excel e substituir os espaços por underline.
Você sabe algum script ou outra forma automatizada de se fazer isto?
Obrigado
Bruno Kinoshita
douglasfilipe disse
Bruno Kinoshita,
Eu até comecei a “desenvolver” um “aplicativo” (baseado nesse artigo http://www.macoratti.net/vbn_txt.htm) para substituir esse .bat e editar o access.txt para trocar espaços por “\” mas como nao sou desenvolvedor acabei deixando o projeto de lado.
filipe disse
Oi gente, ouvi vcs dizendo que não conseguiram alterar caracteres no arquivo. Eu sou prog a cinco anos e faço isso com um script vbs. Basta me explicar o que tá acontecendo que eu mando pra vcs.
Falando nisso dá uma força pra mim. Vc disse que não pode ser tudo anonimo, pra aparecer o nome, o que eu tenho que fazer? Sou obrigado a configurar o proxy no browser, mesmo que esteja todo mundo no dominio?
douglasfilipe disse
Filipe,
O Bruno Kinoshita, está com o seguinte problema, as contas de usuarios do dominio dele tem espaço por exemplo “douglas filipe” o SARG nao reconhece espaços, problemas de sistemas UNIX. A solução que o Bruno Kinoshita encontrou é abrir no excel e substituir o espaço por _ se voce tiver algum script em VBS que faça automaticamente essa tarefa de substituir espaço por _ iria nos ajudar bastante.
filipe disse
tentei colocar aqui mas deu erro, fiz dois corretores pra vcs, so que o post não aparece. Amanha te mando por email.
filipe disse
Douglas mandei para o seu email, acabei fazendo um que faz tudo de uma vez. Aí vc pode atualizar a versão para já fazer parte do seu pacote. Não deixe de passar para o Bruno.
Bruno Kinoshita disse
Filipe,
Obrigado por nos ajudar.
Por favor, me envie para eu testar aqui.
p-bkinoshita[at]mdfbr.com.br
Obrigado.
Bruno Kinoshita
Bruno Kinoshita disse
Pessoal,
Como eu tive que apresentar os relatórios na minha empresa, inclusive os acessos antigos que estavam armazenado no SQL (antes de mudar para w3c) eu tenho os procedimentos necessários para isso, como as Sintaxe SQL que utilizei para buscar os dados que eu preciso no banco, incluindo as transformações de valores (ex: o IP na tabela do ISA não é formatado como deveria)e os procedimentos para ajunte fino pelo Excel.
É bastante trabalhoso, se acharem interessante eu posso escrever um artigo sobre isso e disponibilizar para o Douglas publicar.
Abraços,
Bruno Kinoshita
douglasfilipe disse
Bruno se quiser fazer um artigo no seu site, eu publico o link nesse post do ISA, juntamente com o script do Filipe. Fico no aguardo do seu artigo.
Thanks a lot
Carlos Andrade disse
Olá, douglas
Meu ISA está em inglês e não consigo visualizar as opções na tab campos – fileds – pra mim, para marcá-las estão escritas de outra forma no idioma?!?!?
*método http
*url
*código status http
estou implantando, ainda, mas desde já
AGRADEÇO MUITO!!!VLW
douglasfilipe disse
Cara to sem ISA em Ingles aqui pra confirmar, mas de cabeça eu acho que é isso:
HTTP Method
URL
Result Code
Posso estar enganado mas se nao me falha a memoria é isso
Thales disse
Client IP
Client Username
Log Date
Log Time
Destination Hostname
Destination IP
Processing Time
Bytes Received
Bytes Sent
Protocol
HTTP Method
URL
HTTP Status Code
douglasfilipe disse
Cara confere o cabeçalho do seu log w3c com esse ai abaixo, nao tem erro pq é o mesmo em qualquer idioma:
#Software: Microsoft Internet Security and Acceleration Server 2006
#Version: 2.0
#Date: 2008
#Fields:
c-ip cs-username date time r-host r-ip time-taken cs-bytes sc-bytes cs-protocol s-operation cs-uri sc-status
Bruno disse
O cara adorei o sarg no ISA =]
intaum deu certinhu gero o relatorios de todos os meus users mas unica coisa q naum deu certo foi a hora! no reletorio ela fica adiantada 2 horas! tipo g eu entro no site as 11:18 no relatorio fica 13:18
sabe me dize o q eh! grato!
douglasfilipe disse
Ah amigo esse é um misterio do ISA mesmo, ja procurei a resposta para essa questao mas nunca encontrei.
Maikel disse
o ISA, quando usa o formato W3C, cria os logs usando o horario GMT, por isso as 3 horas de diferença ou 2 horas de diferença. Depende se estamos em horário de verão ou não.
Agora gostaria de saber se existe uma maneira de o SARG contornar esse problema com os logs.
Mais detalhes sobre o horario dos logs do ISA
Text log files (ISA Server file format). Local time.
Test log files (W3C extended log file format). Coordinated Universal Time (UTC), also known as Greenwich Mean Time (GMT).
MSDE log files. Local time.
SQL (ODCB) logs. Coordinated Universal Time (UTC).
Filipe disse
Gostaria de saber se deu certo meu script ?
douglasfilipe disse
O Bruno fez alguns e segundo ele no seu ambiente funcionou satisfatoriamente. Se quiser testar no seu use o codigo.
Set oShell = WScript.CreateObject ("WSCript.shell")oShell.run "files.bat",0,true
set ofs = CreateObject("Scripting.FileSystemObject")
Set ofsfile1 = ofs.OpenTextFile("logsarg\Access2.txt",1)
Set ofsfile2 = ofs.CreateTextFile("logsarg\Access.txt",2)
While not ofsfile1.AtEndOfStream
p1=0
x=ofsfile1.ReadLine
if mid(x,1,1) "#" then
for i=1 to len(x)
if asc(mid(x,i,1)) = 9 and p1 = 0 then
p1 = i
elseif asc(mid(x,i,1)) = 9 then
p2 = i
w2 = mid(x,p1,p2-p1)
y = Replace(w2," ","_")
x = mid(x,1,p1) & y & mid(x,p2,len(x))
exit for
end if
next
end if
qtd = qtd + 1
ofsfile2.WriteLine(x)
wend
oShell.run "sbin\sarg.exe",0,true
Usando este codigo nao é necessario utilizar o script relatorio.bat
filipe disse
Obrigado, mas como fui eu que fiz, eu usei aqui antes pra ver se estava ok.
Bruno Kinoshita disse
Ola Douglas e Feilipe,
Acho que o Douglas se enganou novamente, eu respondi o e-mail falando que não funcionou muito bem o script aqui.
Ele consegue converter os “espaços” em “-” perfeitamente. Script de alto nivel emm..
Só que ele acaba colando um “TAB” a mais entre a coluna IP e Nome que impede o ISA de gerar o relatório por conta que ele se perde com o cabeçalho
Filipe disse
Então Bruno, esse erro eu tinha corrigido, e passei o script revisado para o Douglas também, não sei se ele corrigiu. Para corrigilo, basta alterar a linha
x = mid(x,1,p1) & y & mid(x,p2,len(x))
por
x = mid(x,1,p1-1) & y & mid(x,p2,len(x))
douglasfilipe disse
Calma pessoal rsss ta meio corrido pra mim nessas ultimas semanas, verifiquei os emails e realmente me enganei, Filipe obrigado pelo script e Bruno esse é o codigo correto, se puder testar e avisar o resultado
Set oShell = WScript.CreateObject ("WSCript.shell")
oShell.run "files.bat",0,true
set ofs = CreateObject("Scripting.FileSystemObject")
Set ofsfile1 = ofs.OpenTextFile("logsarg\Access2.txt",1)
Set ofsfile2 = ofs.CreateTextFile("logsarg\Access.txt",2)
While not ofsfile1.AtEndOfStream
p1=0
x=ofsfile1.ReadLine
if mid(x,1,1) "#" then
for i=1 to len(x)
if asc(mid(x,i,1)) = 9 and p1 = 0 then
p1 = i
elseif asc(mid(x,i,1)) = 9 then
p2 = i
w2 = mid(x,p1,p2-p1)
y = Replace(w2," ","_")
x = mid(x,1,p1-1) & y & mid(x,p2,len(x))
exit for
end if
next
end if
qtd = qtd + 1
ofsfile2.WriteLine(x)
wend
oShell.run "sbin\sarg.exe",0,true
Thiago P.C. disse
ola senhores!
sou novo com isso e estou com problemas aparente mente basico
problema de sintaxe deste arquivo.
alguem saberia me falar pq???
obs: minha pasta “sarg” esta no C:\
cd\
cd “C:\Arquivos de programas\Microsoft ISA Server\ISALogs\”
del *.w3c
copy *.w3c c:\sarg\logisa\%date%.txt
copy *.w3c c:\sarg\logsarg\access.txt
cd c:\sarg\sbin
sarg.exe
cd c:\sarg\logsarg\
pause
douglasfilipe disse
Tirando o “pause” no final esta tudo certo, era pra voce conseguir gerar relatorio, aparece alguma mensagem de erro?
Thiago P.C. disse
Cara …
na hora do del*.w3c ele fala que o arquivo ja esta em uso por outro processo.
depois na hora de copiar ele da erro de sintaxe de comando…..
sabe o pq??
douglasfilipe disse
O aviso que ja esta sendo usado por outro processo é normal porque o log esta sendo usado pelo serviço do ISA.
O segundo erro é porque voce nao alterou o formato da data do seu sistema.
Bruno disse
Ola douglas. muito bom o log pelo sarg, esta funcionando, porem estou com duvidas quanto a hora de criacao do log pelo isa. EU configurei agora de manha e mostrou apenas 2 usuarios e alguns sites. E a hora que e mostrado no arquivo 11.mar.2009.txt mostra 14:00 uma hora bem longe… sabe o porque disso?
douglasfilipe disse
Olá Bruno.
O tamanho do log depende da quantidade de acesso, todos os clientes sao webproxy autenticados?
O ideal é gerar report por dia, no final do dia, não há necessidade de atualizar de hora em hora.
Como assim hora de criação do log?
Bruno disse
Eu estou em duvida quanto ao relatorio. O Sarg gerou o relatorio porem pequeno, atualizei e monitorei por mais horas e nao foi acrescentando nada.. apenas no arquivo .TXT. Normal? O report nao pode ser atualizado toda hora? e a hora d criacao do log do isa nao tem como eu saber? valeu. mto bom o SARG mesmo.
Denny disse
Bom dia,
No caso eu tenho mais de 1 domínio em minha floresta ex.
dom1.org.br
dom2.dom1.org.br
dom3.dom2.dom1.org.br
Ele só esta pegando no sarg o dom1, mas percebi que na pasta C:\SARG\LogSarg\ tem um txt que contem todo o conteúdo dos 3 domínios.
Sabe como posso colocar os 3 em 1 relatório ou colocar individual por dominínio valeu cara muito obrigado.
douglasfilipe disse
Vai depender do NETBios dos dominios exemplo:
dom1.org.br = dom1
dom2.dom1.org.br = dom2
dom3.dom2.dom1.org.br = dom3
No Access.txt na coluna cs-username iria ficar da seguinte maneira dom1\user1 dom2\user2 dom3\user3 ai o usuario seria gerado normalmente, esses foram os casos que eu conheço, diferente disso teria que ser feita uma analise, se voce puder me enviar o arquivo de Access.txt nao precisa ser completo apenas com registro dos 3 dominios esta bom.
[]’s
Denny disse
Então na publicação no sarg é que não aparecem todos somente o do dom1, no acsses.TXT esta blz até ja importei para o excel.
Denny disse
Opa do dom3 que aparece
douglasfilipe disse
Como eu disse a geração do relatorio é baseada no NETBios name, se forem diferentes ele vai gerar.
Gustavo Osman disse
Olá Douglas,
Aqui o relatório também esta funcionando perfeitamente, porém, tenho duas dúvidas.
A primeira é parecida com a do Bruno, um pouco acima. Meu ISA Server está configurado em GMT -3 e o SARG também aparentemente está obecendo a este horário. Porém, quando vou visualizar o horário que um determinado usuário acessou um site, por exemplo, o SARG está retornando o horário de acesso com 3 horas a mais. Tem idéia do porque disso ?
A segunda dúvida é em relação a quantidade de sites. Gostaria de saber se tem como eu filtrar para o ISA só me retornar a primeira parte do link que o usuário esta acessando. Porque, por exemplo, se um cara entra na UOL, o ISA e o próprio SARG estão retornando links como http://www.uol.com.br/economia/fotojornal.gif e por aí vai…o problema é que isto me gera inúmeras entradas que não preciso…tem como limitar o isa pra mostrar só o http://www.uol.com.br por exemplo ?
Obrigado
douglasfilipe disse
Olá! Gustavo,
Como ja respondido anteriormente o arquivo de log do ISA possui um erro com o GMT -3 ele marca de 1 a 3 horas a mais de diferença, ate hoje nao encontrei solução para este problema.
Quando o SARG gera o relatorio voce clica em uma conta de usuario, ele exibe sim em “LOCAL ACESSADO” o dominio do site e nao a URL como voce diz, verifique se voce marcou o campo “Nome do Host de Destino” pois é este campo que ele usa para gerar o link para o dominio.
Nathan disse
Douglas boa tarde,
estava querendo melhorar os relatórios gerados pelo SARG (ter um relatório mensal pelo menos, por usuário). Tem o caminho das pedras por onde posso começar?
douglasfilipe disse
Olá Nathan,
Simples na hora que voce configura o o log do ISA clica em opções (segunda imagem do post) coloca a rentenção com o tempo que voce quer, e agente a execução do relatorio.bat de acordo com a retenção.
Felipe manoel disse
Ola Douglas, olha perabens pelo post a tempos estava procurando algo assim.
Estou com um problema que não estou entendo, efetuei a configuração do Sarg segui os passos acima, funcionou perfect durante 03 dias desde ontem quando executo o mesmo apresenta o seguinte erro:
C:\SARG>relatorio
C:\SARG>cd\
C:\>cd “Program Files\Microsoft ISA Server\ISALogs\”
C:\Program Files\Microsoft ISA Server\ISALogs>del *.w3c
C:\Program Files\Microsoft ISA Server\ISALogs\ISALOG_20090325_WEB_000.w3c
The process cannot access the file because it is being used by another process.
C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logisa\25/03/20
09.txt
The syntax of the command is incorrect.
C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logsarg\access.
txt
ISALOG_20090325_WEB_000.w3c
1 file(s) copied.
C:\Program Files\Microsoft ISA Server\ISALogs>cd c:\sarg\sbin
C:\SARG\sbin>sarg.exe
‘/rm’ is not recognized as an internal or external command,
operable program or batch file.
SARG: File not found: c:/squid/var/logs/access.log
C:\SARG\sbin>cd c:\sarg\logsarg\
C:\SARG\LogSarg>
O que pode ser?
Como resolvo esse problema?
Muito obrigado pela atenção.
douglasfilipe disse
O formato da data do seu sistema não esta correto, esta separado por “/” em vez de “-” o formato correto é “dd-mm-aaaa” para que o comando “copy *.w3c c:\sarg\logisa\%date%.txt” funcione corretamente.
Felipe manoel disse
Douglas efetuei a alteração e me apresentou outro erro.
C:\>cd “Program Files\Microsoft ISA Server\ISALogs\”
C:\Program Files\Microsoft ISA Server\ISALogs>del *.w3c
C:\Program Files\Microsoft ISA Server\ISALogs\ISALOG_20090325_WEB_000.w3c
The process cannot access the file because it is being used by another process.
C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logisa\25-03-20
09.txt
ISALOG_20090325_WEB_000.w3c
1 file(s) copied.
C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logsarg\access.
txt
ISALOG_20090325_WEB_000.w3c
1 file(s) copied.
C:\Program Files\Microsoft ISA Server\ISALogs>cd c:\sarg\sbin
C:\SARG\sbin>sarg.exe
‘/rm’ is not recognized as an internal or external command,
operable program or batch file.
SARG: File not found: c:/squid/var/logs/access.log
C:\SARG\sbin>cd c:\sarg\logsarg\
C:\SARG\LogSarg>
O que posso fazer agora?
Abraço
douglasfilipe disse
Felipe,
Voce alterou o codigo do script? Ao que me parece tem um /rm nele testa esse script.
cd\
cd "Program Files\Microsoft ISA Server\ISALogs\"
del *.w3c
copy *.w3c c:\sarg\logisa\%date%.txt
copy *.w3c c:\sarg\logsarg\access.txt
cd c:\sarg\sbin
sarg.exe
douglasfilipe disse
e outra o seu SARG esta procurando o access.log no diretorio “c:/squid/var/logs/access.log” o certo é “C:\Sarg\LogSARG\Access.txt” abre o sarg.conf em C:\SARG\etc e verifica a seguinte a linha que deve esta assim:
# TAG: access_log file
# Where is the access.log file
# sarg -l file
#
access_log c:/squid/var/logs/access.log
o correto é
# TAG: access_log file
# Where is the access.log file
# sarg -l file
#
access_log C:\Sarg\LogSARG\Access.txt
Marcelo Franceschini disse
Douglas
primeiramente, parabens pelo tutorial e pela ajuda. Eu e o Felipe Manoel estamos implementando esta solução na empresa e em poucos dias foi brutal a otimização do uso da web
mas tenho algumas duvidas
1 – quando gera o relatorio, o campo tempo gasto, aparece com segundos, mesmo que fique alguns minutos, exemplo. fico 10 minutos e aparece como 10 segundos
2 – Em relação a conexão, ele mostra na sequencia os sites que foram acessados, entao se acesso o site A, vou para o B e volto para o A, ele registra novamente este site. Existe uma forma de que estes registros fiquem marcados uma unica vez no relatorio, me mostrando no campo acesso quantas vezes foi acessado?
3 – na opção de gerar um relatorio grafico, nao conseguimos gerar um com todos usuarios (graph day. Onde setaria para ter este levantamento diario? Digo isso que uso o relatorio do ISA, mas a gerencia me solicitou este tambem
Digo isto, pois os relatorios acabam ficando muito extensos (o top users tenho mais de 6000 linhas)
fico no aguardo, e agradeço deste ja
douglasfilipe disse
Olá Marcelo e Felipe,
Fico feliz em estar ajudando mais profissionais.
1 – quando gera o relatorio, o campo tempo gasto, aparece com segundos, mesmo que fique alguns minutos, exemplo. fico 10 minutos e aparece como 10 segundos
Esta é fácil, Ele só mostra o tempo o tempo que usuário recebeu de resposta do site, já que o se o usuário fica inativo, vamos supor que ele fique lendo o site da web, não tem como saber isso já que a pagina já foi carregada no IE e digamos que ele esteja com uma copia da pagina no temporary internet files. Isso é padrão de navegação web.
2 – Em relação a conexão, ele mostra na sequencia os sites que foram acessados, entao se acesso o site A, vou para o B e volto para o A, ele registra novamente este site. Existe uma forma de que estes registros fiquem marcados uma unica vez no relatorio, me mostrando no campo acesso quantas vezes foi acessado?
Não entendi a pergunta, mas vamos analizar a imagem do relatório:
http://douglasfilipe.files.wordpress.com/2008/10/untitled.jpg
Se você clicar em “Topsites” você visualizará uma lista com os sites mais acessados, do mais acessado para o menos acessado.
Se você clicar em “Sites & Users” você irá visualizar você terá uma lista de sites mais acessados e usuário que mais acessou.
Se você clicar em “Downloads” terá uma lista dos “top” downloads e sites.
3 – na opção de gerar um relatorio grafico, nao conseguimos gerar um com todos usuarios (graph day. Onde setaria para ter este levantamento diario? Digo isso que uso o relatorio do ISA, mas a gerencia me solicitou este também.
Se você clicar nas barras de gráfico entre o “NUM” e “USUÁRIO” você pode visualizar um gráfico de consumo em dias do usuário. Agora so você quer um gráfico com todos os usuários esse relatório já existe no ISA, essa solução que eu desenvolvi com o SARG é somente para complementar os relatórios do ISA que a única incapacidade do ISA.
Existem outras soluções de relatórios para o ISA:
Relatorios com o Excel por exemplo, veja este fórum:
http://social.technet.microsoft.com/Forums/pt-BR/isa2004pt/thread/55931ec7-29b4-48f1-b4cb-af4c69619f87/
Usar o SQL Server Express (Gratuito) para armazenar os logs em uma base dados e depois gerar relatórios com o Reporting Services.
http://www.isaserver.org/tutorials/Firewall-Logging-Microsoft-SQL-database.html
http://support.microsoft.com/?scid=kb%3Bpt-br%3B838710&x=12&y=16
Este ultimo so fiz em laborario nao sou muito com o Reporting Services por isso nao publiquei tutorial.
Acho que essas soluções atendem por completo a necessidade de relatórios. Agradeço pela visita e se restarem duvidas é só postar!
Denny disse
C:\SARG>Relatorio.bat C:\SARG>cd\ C:\>cd “Program Files\Microsoft ISA Server\ISALogs\ C:\Program Files\Microsoft ISA Server\ISALogs>del *.w3c
C:\Program Files\Microsoft ISA Server\ISALogs\ISALOG_20090326_WEB_000.w3c The process cannot access the file because it is being used by another process. C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logisa\26-03-2009.txt ISALOG_20090326_WEB_000.w3c 1 file(s) copied. C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logsarg\access.txt ISALOG_20090326_WEB_000.w3c 1 file(s) copied. C:\Program Files\Microsoft ISA Server\ISALogs>cd c:\sarg\sbin C:\SARG\sbin>sarg.exe
SARG: Records in file: 37286, reading: 100.00%
c:/sarg/bin/sort: open failed: galhardi: No such file or directory
c:/sarg/bin/sort: open failed: lopes: No such file or directory
c:/sarg/bin/sort: open failed: araujo: No such file or directory
c:/sarg/bin/sort: open failed: costa: No such file or directory
c:/sarg/bin/sort: open failed: de: No such file or directory
c:/sarg/bin/sort: open failed: batista: No such file or directory
c:/sarg/bin/sort: open failed: de: No such file or directory
c:/sarg/bin/sort: open failed: gislene: No such file or directory
c:/sarg/bin/sort: open failed: de: No such file or directory
c:/sarg/bin/sort: open failed: augusta: No such file or directory
c:/sarg/bin/sort: open failed: polido: No such file or directory
c:/sarg/bin/sort: open failed: helena: No such file or directory
c:/sarg/bin/sort: open failed: lopes.log: No such file or directory
c:/sarg/bin/sort: open failed: aparecida: No such file or directory
c:/sarg/bin/sort: open failed: josé: No such file or directory
c:/sarg/bin/sort: open failed: cristina: No such file or directory
c:/sarg/bin/sort: open failed: cezar: No such file or directory
c:/sarg/bin/sort: open failed: aluno.log: No such file or directory
c:/sarg/bin/sort: open failed: ensg.log: No such file or directory
SARG: Relatorio gerado com sucesso em C:\sarg\report/26Mar2009-26Mar2009 C:\SARG\sbin>cd c:\sarg\logsarg\
C:\SARG\LogSarg>
Esta acontecendo estes erros e percebi que os logs não batem no tamanho fiz uma bat para todo dia as 23:45 executar o relatório.bat, mas quando vou ver não tem todos os acessos do dia e a hora fica estranha com data do dia posterior tem idéia do que acontece?
douglasfilipe disse
Denny,
Com certeza seu bat esta sendo executado depois que o arquivo de log é subescrito verifica a data de criação do arquivo de log do ISA. Na duvida refaça a configuração do zero novamente.
[]’s
Denny disse
Então douglas e esses erros:
c:/sarg/bin/sort: open failed: galhardi: No such file or directory
c:/sarg/bin/sort: open failed: lopes: No such file or directory
c:/sarg/bin/sort: open failed: araujo: No such file or directory
c:/sarg/bin/sort: open failed: costa: No such file or directory
c:/sarg/bin/sort: open failed: de: No such file or directory
c:/sarg/bin/sort: open failed: batista: No such file or directory
c:/sarg/bin/sort: open failed: de: No such file or directory
c:/sarg/bin/sort: open failed: gislene: No such file or directory
c:/sarg/bin/sort: open failed: de: No such file or directory
c:/sarg/bin/sort: open failed: augusta: No such file or directory
c:/sarg/bin/sort: open failed: polido: No such file or directory
c:/sarg/bin/sort: open failed: helena: No such file or directory
c:/sarg/bin/sort: open failed: lopes.log: No such file or directory
c:/sarg/bin/sort: open failed: aparecida: No such file or directory
c:/sarg/bin/sort: open failed: josé: No such file or directory
c:/sarg/bin/sort: open failed: cristina: No such file or directory
c:/sarg/bin/sort: open failed: cezar: No such file or directory
c:/sarg/bin/sort: open failed: aluno.log: No such file or directory
c:/sarg/bin/sort: open failed: ensg.log: No such file or directory
lembra que eu te falei que ele não esta pegando todos os domínios.
Ele só esta pegando 1 no relatório Web.
Nos logs dentro da pasta isa log ou sarg log se eu pegar o txt tem completo com todos os domínios.
Tem idéia do que esta acontecendo?
douglasfilipe disse
Denny,
Não faço ideia, nunca vi isso acontecer com ninguem, se quiser me enviar esse logo eu analiso.
Eugenio disse
Bom dia, Douglas!
Gostei deste tutorial, mais eu gostaria de uma informação tem como gerar relatorio de uso do usuário semanal ou mensal. Ou seja, teria as htmls com os acessos diarios com grafico de uso por hora e relatorio geral de acesso semanal (principalmente), isso é possivel no Isa Server.
Douglas Filipe disse
Olá Eugenio,
Veja os comentarios 44 e 45 eles esclarecem sua duvida. Voce so pode ter o log diario, semanal ou mensal, isso de forma automatica.
Obrigado pela visita!
Paulo Tostes disse
Bom dia Douglas!
Primeiramente, mto bom e usual o tutorial, parabéns.
Bom, comigo está td configurado e rodando legalzinho, minha dúvida é:
Preciso muito que seja apresentado no relatório a hora exata q o usuário requisitou a página e, caso algum link seja negado pelas políticas do ISA, eu precisava desse link, existe a possibilidade?
Um abraço
Douglas Filipe disse
Boa questão, nunca tive essa necessidade mas se você quiser testar seria os seguintes passos:
Editar o sarg.conf em SARG\etc\sarg.conf encontre a seguinte linha:
# TAG: report_type type# What kind of reports to generate.
# topusers - users, sites, times, bytes, connects, links to accessed sites, etc
# topsites - site, connect and bytes report
# sites_users - users and sites report
# users_sites - accessed sites by the user report
# date_time - bytes used per day and hour report
# denied - denied sites with full URL report
# auth_failures - autentication failures report
# site_user_time_date - sites, dates, times and bytes report
# downloads - downloads per user report
#
# Eg.: report_type topsites denied
#
#report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads
E altere ela para:
# TAG: report_type type# What kind of reports to generate.
# topusers - users, sites, times, bytes, connects, links to accessed sites, etc
# topsites - site, connect and bytes report
# sites_users - users and sites report
# users_sites - accessed sites by the user report
# date_time - bytes used per day and hour report
# denied - denied sites with full URL report
# auth_failures - autentication failures report
# site_user_time_date - sites, dates, times and bytes report
# downloads - downloads per user report
#
# Eg.: report_type topsites denied
#
report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads denied
Agora teria que adicionar o campo “Ação” no logo do ISA.
Ressalto que ao adicionar esse campo o relatório pode apresentar erros, então use a dica por conta e risco
Paulo Tostes disse
alterações efetuadas porém o relatório sai idêntico, sem erro nem mudança aparente
:<
Rodrigo disse
Efetuei todos os passos conforme informado.
O relatório no campo do usuário apareceu anonymous, então fui nos txt’s coloquei ao inves de anonymous mudei para administrador, ocorre que agora somente relatou os usuários com direito de administradores.
Tem como listar todos os usuários?
Douglas Filipe disse
Coloca a conta anonymous tanto no exclude-users quanto no exclude-hosts.
Douglas Filipe disse
Bem nunca fiz essa configuração acho que teria que adicionar mais um campo no log do ISA
Eugenio disse
Boa noite, Douglas Filipe!
Foge uma pouco desta discurção, mais você sabe como resolver o problema de hora de acesso no isa server, pois no windows marca a hora do Ad, ou seja hora local, mais a hora de acesso no relatório mostra uma defasagem de 3 horas. Desde já agradeço.
Douglas Filipe disse
Eugenio,
Leia os comentarios 111 e 112.
Ademir disse
Bom dia,
o SARG estava gerando os relatórios corretamente, mas, depois parou e notei que estava aparecendo a seguinte mensagem:
”
C:\SARG\sbin>sarg.exe
SARG: Records in file: 8557, reading: 100.00%
SARG: Nao ha registros
SARG: Fim
C:\SARG\sbin>cd c:\sarg\logsarg\
C:\SARG\LogSarg>
”
ele copia os arquivos de logo do ISA, cria o arquivo de logo nas pastas sarg\LogISA e sarg\logsarg
na pasta logsarg tem o arquivo access.txt
mas no final das contas não aparece o relatório na pasta report.
obrigado.
Douglas Filipe disse
Esse problema acontece quando os campos do log do ISA estao diferentes dos citados no tutorial, verifique se nao foi feita alteração.
Eugenio disse
Bom dia, Douglas!
Muito obrigado.
Diogo Silveira disse
Boa noite !!
parabens pelo tutorial so tenho duas duvidas tem como no lugar de usuario mostrar o ip ou colocar o ip do lado do usuarios.
outra coisa os sites visitados nao aparece a url apenas o ip do site tem como ele mostrar a url
grato
Douglas Filipe disse
Olá,
Voce deve editar a seguinte linha do arquivo sarg.conf em C:\SARG\etc:
# TAG: user_ip yes/no# Use Ip Address instead userid in reports.
# sarg -p
#user_ip no
#user_ip no
Deve ficar assim
# TAG: user_ip yes/no# Use Ip Address instead userid in reports.
# sarg -p
#user_ip no
user_ip yes
Gustavo disse
Douglas parabens cara sempre procurei isso;
pode me add no msn ???
me add ae belengagyn@hotmail.com
Rudinei disse
Olá Douglas, parabéns pelo tópico. E de ante mão agradeço se puder me ajudar.
Seguinte, eu não estou usando o ISA, só estou usando o squid e ele está funcionando, mas não consigo fazer funcionar o SARG, vi que vc tem experiência com isso. Só quero ver o access.log do squid mostrado no SARG. Quando rodo o Sarg.exe ele dá o seguinte erro:
SARG: Records in file: 1395, reading: 100.00%
SARG: Não ha registros
SARG: Fim
o número aumenta conforme os acessos
Meu sarg.conf está assim
Douglas Filipe disse
Cara com o Squid em si tem anos que nao trabalho. Recomendo voce usar a comunidade http://www.vivaolinux.com.br para esclarecer suas duvidas.
Michelle disse
Olá Douglas! Parabéns pelos tópicos! Acompanhei esse do Sarg para ISA atentamente. Consegui configurar e os relatórios gerados foram satisfatórios. O Sarg está funcionando há um mês e 1/2, porém, nem todos os dias ele não consegue gerar os relatórios completos. Nas pastas dos usuários, ele gera vários relatórios contendo os sites acessados, ou seja, cada site um relatório. Mas o relatório geral que reune todos os sites acessados por este usuário, com o total de site e o tempo de acesso, não. Fico sem saber qual o problema, visto que em alguns dias os relatórios são gerados todos corretamente. Vc tem histórico de algum problema parecido que possa esclarecer esse “mistério”. Abraços.
Douglas Filipe disse
Ola Michelle,
Nunca me reportaram nenhuma problema parecido, teria que avaliar o seu ambiente, seu ISA é integrado com o AD? Qual tipo de autentição voce está usando? O que voce pode tentar fazer é analisar os logs dos dias em que o relatorio foi gerado com sucesso e confrontar com o logs de quando o relatorio apresenta erro e assim tentar definir a causa do “mistério”. Se nao implicar em nada voce pode me enviar esses logs tambem que eu analiso e tento ajudar.
[]’s
Michelle disse
Olá Douglas,
O ISA está integrado no AD, e os usuários do AD estão sendo autenticados no serviço de proxy do ISA. Enviarei os log para vc analisar, pois até agora não consegui perceber nd diferente.
Thanks.
Eduardo Fernandes disse
O Sarg está gerando os relatórios com os logs do isa perfeitamente, mas gera apenas do dia , por exemplo:
Gerei hoje e aparece relatório de 23Jun2009-23Jun2009. Como faço para gerar relatorio do dia 01/06 ao dia 30/06?
Douglas Filipe disse
Olá Eduardo,
Essa questão ja foi discutida aqui, se nao engano no post 46.Basta voce reter o log do ISA pelo periodo que deseja. O problema é que voce terá um relatorio enorme, acho que o ideal é gerar os relatorios do SARG diariamento e utilizar os do ISA quinzenal ou mensalmente.
Eduardo Fernandes disse
Onde mudo para o Isa acumular os logs de 1 semana?
Douglas Filipe disse
Olá Eduardo
Quando voce muda o formato do log para W3c clique no botão opções.
[]’s
Eduardo Fernandes disse
Ele cria um .w3c para cada dia de log,mas na hora de gerar o log o script apaga todos os .w3c e copia o que sobrou(o atual que nao pode ser apagado porque esta em uso). Mas o unico que nao pode ser apagado é o atual,ou seja acaba so criando log do dia atual.
Douglas Filipe disse
Apaga a linha del *.w3c do relatorio.bat
Eduardo Fernandes disse
Perfeito! Muito Obrigado ! Você é o cara!
Bruno Kinoshita disse
Olha eu aqui depois de um tempão…
Alguem por acaso ja conseguiu resolver o problema do horário adiantado?
Abraços,
Bruno Kinoshita
Bruno Kinoshita disse
Troquei meu servidor do ISA.
Comecei uma nova instalação nele,
só que agora está saindo o username e não o nome completo do usuário no relatório, o que tem de errado?
Augusto César disse
Muito bom este post, me ajudou muito e muito simples de utilizar.
Augusto César – MCSE – MCT – MCSA – MCTS
@IBM
Douglas Filipe disse
Essa é a ideia, multiplicar o conhecimento.
[]’s
PauloHenriqu de Carvalho Batista disse
Estive analisando o arquivo c:\sarg\relatorio.bat e ele primeiro faz del *.w3c e depois copy *.w3c c:\sarg\logisa\%date%.txt
copy *.w3c c:\sarg\logsarg\access.txt.
É isso meso, ele apaga para depois copiar?
Segue conteúdo do arquivo total que baixei:
cd\
cd “Program Files\Microsoft ISA Server\ISALogs\”
del *.w3c
copy *.w3c c:\sarg\logisa\%date%.txt
copy *.w3c c:\sarg\logsarg\access.txt
cd c:\sarg\sbin
sarg.exe
cd c:\sarg\logsarg\
Douglas Filipe disse
Ele apaga pra ter certeza de que não esta copiando arquivo do dia anterior.
[]’s
PauloHenriqu de Carvalho Batista disse
Obrigado pela resposta.
Agora me deparo com um problema, meu sistema operacional é inglês, e não tem a opção de data dd-mm-aaaa, como coloco a data no meu servidor?
Mais uma vez, muito obrigado.
Douglas Filipe disse
Aí voce terá que achar um formato que o comando %date% funcione.
[]’s
Manoel Marcos Lima disse
Douglas,
Muito fácil e pratico instalar o SARG para ISA Server 2004 através do seu tutorial. Parabéns.
Configurei as estações como clientes Proxy e configurei o ISA Server para usar autenticação integrada e básica e marquei a opção Require all users to authenticate.
Relatórios perfeitos. Mas tenho problemas de acesso em alguns sites.
Problemas que desaparecem se as estações não forem clientes proxy e se a opção no ISA Server (Require all users to authenticate) estiver desmarcadas. Mas aí, nos relatórios os usuários aparecem anônimos.
Você tem alguma dica.
Mais uma vêz parabéns e obrigado.
Douglas Filipe disse
Olá Manoel,
Teria que analisar o erro detalhadamente, veja o caso da Michelle acima o problema dela era relacionado a servidores FTP’s Unix/Linux a solução foi adicionar esses servidores como exceção na geração de relatorios, para isso basta adicionar as entradas nos arquivos exclude-users e exclude-hosts, há exemplos nos arquivos.
[]’s
Erison disse
Cara não estou conseguindo baixar o Sarg!!
Douglas Filipe disse
Acabei de testar o download e está funcionando perfeitamente, tente novamente!
[]’s
Fabricio Passos disse
Bom dia Douglas…
estou esbarrando em umas dificuldades em implementar o SARG… eu segui todos os passos do tutorial, porem estou com duvida na parte onde editaos arquivos exclude_users.txt e exclude-hosts.txt com as informações do meu dominio…. veja bem…. O meu cenario é o seguinte… tenho meu dominio interno… simulacao.local onde o meu servidor firewall está engressado no dominio e todos meus usuario esta logados no dominio tambem… As regras que libera net para os usuarios sao separados por nivel e nessas regras os usuario estao dentro de um grupo por exemplo…
GRUPO NIVEL I so tem acesso a determinadas coisas
GRUPO NIVEL II tem acesso mais elevedo
GRUPO NIVEL III tem acesso maior possivel…
Dentro do meu AD tem grupos criados e eu uso esses grupos nas regras….
A pergunta é o seguinte:
Como ficaria a configuração do exclude_users.txt e exclude-hosts.txt com as informações do seu domínio? a configuração defull é essa:
anonymous
seudominio.com.br
seudominio
http://ftp.seudominio.com.br
ftp
Douglas Filipe disse
Esses arquivos sao usados para quando voce quer excluir um usuario, computador ou dominio do seu relatorio, ou seja, voce so deve adicionar entradas de objetos que nao devem aparecer no relatorio.
Rafael disse
Olá fiz o que está postado e porem nao gera o html, lembrando que o arquivo w3c no Windows Server Enterprise 2003 o ISA Server 2006 está no diretório C:\Arquivos de programas\Microsoft ISA Server\ISALogs, alterei no relatorio.bat mas nao gera de jeito nenhum,
Grato pela dica
Rafael
Douglas Filipe disse
Algum erro aparece?
João Paulo disse
Douglas, fiz tudo mas cheguei até os arquivos de log .w3c
Não achei nenhum arquivo logs.txt e nem a bat. Tenho que criar os arquivos na mão?
Obrigado
Douglas Filipe disse
Faça download novamente do SARG
Sergio Penteado disse
Boa tarde,
Parabéns Douglas Filipe pela iniciativa, já instalei e configurei o SARG corretamente, mas agora preciso adaptar o relatório as minhas necessidades, será que vc pode me ajudar ?!
Vamos lá…
1-preciso saber o ip e hostname de origem e a url site que ele acessou.
2-existe como não mostrar as consultas de dns ?
3-O que significa no seu print (http://douglasfilipe.files.wordpress.com/2008/10/untitled.jpg) a coluna USUÁRIO que aparece como dominio_userX
Por enquanto é só, desde já, muito obrigado.
Abs.
Sergio Penteado
Douglas Filipe disse
O proprio ISA ja possui relatorios por IP, não há necessidade de usar o SARG, se mesmo assim quiser o usa-lo terá que entender um pouco de programção. Para aparecer o IP edite as linhas, do arquivo \etc\sarg.conf.
# TAG: resolve_ip yes/no
# Convert ip address to dns name
# sarg -n
#resolve_ip no
# TAG: user_ip yes/no
# Use Ip Address instead userid in reports.
# sarg -p
#user_ip no
#user_ip no
Marcos disse
Olá pessoal..
Acabo de baixar o SARG e segui todos os passos neste tutorial, porem não consigo gerar os arquivos no formato HTML, porem pude conformar que todos os dados do relatorio estao relacionados no arquivo access.txt..
se alguem puder me ajudar eu agradeço.. obrigado..
- – - – - – -
C:\sarg>relatorio.bat
C:\sarg>cd\
C:\>cd “Program Files\Microsoft ISA Server\ISALogs\”
C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logisa\seg 12/1
0/2009.txt
The syntax of the command is incorrect.
C:\Program Files\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logsarg\access.
txt
ISALOG_20091012_FWS_000.w3c
ISALOG_20091012_WEB_000.w3c
1 file(s) copied.
C:\Program Files\Microsoft ISA Server\ISALogs>cd c:\sarg\sbin
C:\sarg\sbin>sarg.exe
SARG: Records in file: 6605, reading: 100.00%
SARG: Nao ha registros
SARG: Fim
C:\sarg\sbin>cd c:\sarg\logsarg\
C:\sarg\LogSarg>
- – - – - – -
Douglas Filipe disse
Voce nao seguiu os passos corretamente.
Não foi alterada a data do sistema.
Os campos nao foram selecionados de forma correta, estao faltando ou sobrando campos no seu log.
Alexandre disse
C:\SARG>cd\
C:\>cd “Arquivos de Programas\Microsoft ISA Server\ISALogs\”
C:\Arquivos de programas\Microsoft ISA Server\ISALogs>del *.w3c
C:\Arquivos de programas\Microsoft ISA Server\ISALogs\ISALOG_20091014_WEB_000.w3
c
O arquivo já está sendo usado por outro processo.
C:\Arquivos de programas\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logisa\
14/10/2009.txt
A sintaxe do comando está incorreta.
C:\Arquivos de programas\Microsoft ISA Server\ISALogs>copy *.w3c c:\sarg\logsarg
\access.txt
ISALOG_20091014_WEB_000.w3c
1 arquivo(s) copiado(s).
C:\Arquivos de programas\Microsoft ISA Server\ISALogs>cd c:\sarg\sbin
oi Douglas,
O sarg esta gerando o seguinte erro (abaixo respostas do relatorio.bat):
Tambem nao entendi onde se verifica o horario em
C:\SARG\sbin>sarg.exe
SARG: Records in file: 259, reading: 100.00%
SARG: Nao ha registros
SARG: Fim
C:\SARG\sbin>cd c:\sarg\logsarg\
C:\SARG\LogSarg>pause
Pressione qualquer tecla para continuar. . .
Alexandre disse
Esse e o resultado do relatorio.bat.Estranhei que ele nao deixa deletar o arquivo, informando que esta em uso.
Onde configuro o horario do log do ISA, para agendar o relatorio.bat antes dele?
Executei manualmente o relatorio.bat e gerou um acess.txt, com usuarios anonymous (verifiquei algumas dicas dadas a outros colegas) e criei um grupo usuarios do dominio , na regra de acesso a internet, porem continua aparecendo anonymous. Tem que colocar alguma coisa no Internet Explorer das estacoes, la nas configuracoes de proxy? hoje tenho toda a rede com “detectar automaticamente”.
tambem nao esta traduzindo o ip do site pro nome do site.
e por fim, no meu caso nao esta convertendo o acess.txt pra html.
#Software: Microsoft Internet Security and Acceleration Server 2006
#Version: 2.0
#Date: 2009-10-14 21:39:30
#Fields: c-ip cs-username date time r-host r-ip time-taken cs-bytes sc-bytes cs-protocol s-operation cs-uri sc-status
192.168.0.17 anonymous 2009-10-14 21:39:30 64.233.163.104 64.233.163.104 688 708 9666 http GET http://64.233.163.104/ 200