Posts Recentes
|
1
« Última mensagem por jm_araujo em Ontem às 21:57 »
Administro um forum popular, está quase todo aberto sem registo(só umas partes fechadas para incentivar ao registo.para partilharem), e não me importo com bots.
Não me faz impressão que os bots corram a NET toda para sacar informação, sou a favor de uma NET 100% aberta, no pouco software que criei (e divulguei), apesar de.irrelevante depois de muito pensar meti licença unlicence(estava indeciso entre essa e beerware). E detesto paywallls.
Não sei se já foi visitado por esses bots, estou na PTISP com alojamento SSD e sempre foi muito rápido, mesmo com mais de 100 utilizadores simultâneos.
Acho que no robots.txt tens opções para limitar o comportamento dos bots, falta saber é se são todos cumpridores.
O meu robots.txt:
User-agent: *
Crawl-delay: 30
Disallow: /Smileys
Disallow: /Themes
Disallow: /*msg
Disallow: /*wap
Disallow: /*action
Disallow: /*sort(O software é SMF)
2
« Última mensagem por TigPT em Ontem às 19:58 »
Aqui está uma snippet das logs, mais logs no ficheiro txt em anexo.
lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:45 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=875.0 HTTP/2.0" 200 9884 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 54.36.149.14 - - [02/May/2024:18:55:47 +0000] "GET /index.php?topic=8102.msg91393 HTTP/2.0" 200 10333 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" "172.18.0.17:80"
lusorobotica.com 3.143.168.172 - - [02/May/2024:18:55:47 +0000] "GET /index.php?PHPSESSID=1a8c11bc68a7451598ccebc558c1bcab&action=profile;u=2750 HTTP/2.0" 200 3156 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:49 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=205.0 HTTP/2.0" 200 7569 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 3.22.119.251 - - [02/May/2024:18:55:52 +0000] "GET /index.php?PHPSESSID=efe708a3b83c2b0e1fa70e6b544b1d1c&action=recent HTTP/2.0" 200 8425 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 3.224.220.101 - - [02/May/2024:18:55:53 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&board=59.40 HTTP/2.0" 200 6112 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 3.145.15.1 - - [02/May/2024:18:55:57 +0000] "GET /index.php?PHPSESSID=ada81f073cc2b2ea3f110369c8acaea1&topic=6467.msg104287 HTTP/2.0" 200 9179 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:57 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=916.0 HTTP/2.0" 200 9542 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 52.167.144.238 - - [02/May/2024:18:55:58 +0000] "GET /index.php?board=20.920 HTTP/2.0" 200 7319 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "172.18.0.17:80"
lusorobotica.com 3.224.220.101 - - [02/May/2024:18:56:01 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=221.0 HTTP/2.0" 200 10096 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 13.59.61.119 - - [02/May/2024:18:56:02 +0000] "GET /index.php?PHPSESSID=e7591d4c022e7bd76941935cdbc2f117&action=dlattach;topic=9553.0;attach=4723;image HTTP/2.0" 200 21901 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 52.70.240.171 - - [02/May/2024:18:56:05 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=842.0 HTTP/2.0" 200 10875 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 5.255.231.187 - - [02/May/2024:18:56:06 +0000] "GET /index.php?topic=9004.0 HTTP/2.0" 200 7416 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "172.18.0.17:80"
lusorobotica.com 3.145.119.199 - - [02/May/2024:18:56:07 +0000] "GET /index.php?PHPSESSID=fc5504c97c744593f80bf35bf8ed880c&topic=10003.0 HTTP/2.0" 200 6431 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 3.224.220.101 - - [02/May/2024:18:56:09 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=229.0 HTTP/2.0" 200 9670 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
3
« Última mensagem por TigPT em Ontem às 19:38 »
Hoje recebi uma série de emails, utilização de CPU do servidor acima do normal.  Primeiro pensei que fosse alguma tentativa de bruteforce mas quando comecei a analisar as logs apercebi-me que dois bots (Claude from Anthropic e o Amazonbot), estão a fazer crawling do LR todo página a página, possivelmente para treinar estes LLMs em Português. Primeiro, qual a vossa opinião sobre o assunto? deveríamos bloquear estes bot ou deixa-los indexar todo o histórico, em prol de mais e melhores LLMs ? De forma geral, acho que a informação aqui é pública e como tal, não me oponho ao crawling da mesma, por outro, gostava que fossem mais simpáticos e fizessem esse crawling ao longo de várias semanas em vez de quererem sugar todo o website em poucas horas / dias. Alguém sabe de um mecanismo de pushback a estes bots para que não sejam tão agressivos no crawling? ex, já considerei forçar uma pausa na resposta quando o header é de um bot, para que o bot assuma que está a meter o site lento por respostas mais demoradas e reduza o numero de requests por segundo que faz.
4
« Última mensagem por dropes em 30 de Abril de 2024, 15:09 »
É um projecto interessante, que merece o tempo dispendido, já que a despesa é mínima (12 no meu caso, lcd + esp32)
Improvisei nos botões para os switchs, todos os 12 levaram espaçadores, sem folgas.
Careço de uma impressora 3D, a caixa foi realizada com 2 placas de acrílico 2mm, dobradas termicamente em forma de U.
O Esp32 deve ser de 16MB flash e 8MB PSRAM, a versão original do Odroid-go tem o micro ESP32-WROVER-B,
que se encontra obsoleto, estando presente a versão -E.
- 90% dos jogos correm bem em emulação, o som é por simulação dos chips, e é fantastico.
- Além das consolas de 8bits, não fica atrás nas de 16bits, "Megadrive / Genesis" e "Super Nintendo".
- Infelizmente fica complicado emular multiplos chips de SOM em 16bits, e arrasta um bocado (é opcional no menu).
- Todos os jogos permitem a gravação do estado actual deles (grava ficheiros em SD), muito bom para continuar sem ser do inicio.
- Correr Doom num micro de 5€ é fantástico, com todos os sons e movimentos fluidos.
Existem duas versões de firmware para o "hardware odroid-go", o próprio "odroid-go" e o "retro-go", que abrange as emulações da anterior e mais algumas, incluindo as de 16bits.
Se alguém estiver interessado, posso gerar um tutorial ao pormenor; as informações estão um bocado dispersas e não são nada intuitivas.
5
« Última mensagem por jm_araujo em 29 de Abril de 2024, 18:12 »
Boa dica, dá-me vontade de fazer uma coisa dessas, como assim acho que tenho o hardware todo em stock...
6
« Última mensagem por dropes em 29 de Abril de 2024, 15:50 »
Obrigado  Nova descoberta https://forum.odroid.com/viewtopic.php?t=37599Retro-Go: suporta Genesis e TurboGrafx-16 (PC-Engine), agora sim, está completo 
7
« Última mensagem por almamater em 28 de Abril de 2024, 17:34 »
 uau ficou muito bom! Parabéns pelo projecto!!
8
« Última mensagem por dropes em 28 de Abril de 2024, 15:36 »
  Gostei dos emuladores, funcionam perfeitamente e os botões são responsivos. Permite também ajustar o brilho, volume de som, e entrar em modo sleep, sabe-se lá porquê. A velocidade corresponde, sem perdas de frames. Testei com sucesso, NES, GB, GBC, SMS e GG Quase todos os jogos rolam bem, poucos bloqueiam ao iniciar. Sim, Doom também funcionou aqui. Parece que Duke Nukem 3D também, mas esse não testei. Tyrian e Wolfenstein 3D, não consegui correr, devo estar a fazer algo mal... Bem... funciona
9
« Última mensagem por almamater em 27 de Abril de 2024, 17:14 »
 Tenho andado hoje (novamente) de volta de um circuito que faça o reconhecimento do som ambiente e me ligue\desligue uns led´s (uma pequena fita de leds de ~50-60cm) e a +5V. Já experimentei N combinações usando um microfone (condensador) daqueles pequenos, com ou sem LM386, e com milhares de combinações de resistências e condensadores. Uns circuitos até que funcionam mas é preciso a música estar mesmo em cima do microfone e queria algo mais sensível. Os chineses têm coisas que reconhecem bem o som ambiente e são muito sensíveis, exemplo: LedBar Sound reativeIsto usa um microcontrolador e funciona muito bem, era mesmo algo assim que precisava. Já pensei também nisto: microfone-funtastic-karaokeMas não sei até que ponto o circuito é semelhante para conseguir 'copiar' ou adaptar. De qualquer forma, alguém já fez ou tem um esquema que seja sensível e que funcione como o exemplo da ledbar acima (mas sem microcontrolador)? Preciso de algo simples mas sensível, já testei com transistores BC547 etc e até funciona mas não tem a sensibilidade que pretendo.. (mas o erro será certamente meu). O esquema que usei e até funcionou +/- foi este:  Mas mesmo assim pouco sensível, devo de precisar de amplificar o sinal..
10
« Última mensagem por dropes em 22 de Abril de 2024, 14:14 »
Desde já, peço desculpa pela qualidade das fotos, colocar as pontas enquanto seguro no telemóvel e tirar uma fotografia, é muito malabarismo. Configuração osciloscópio para 200uS:  Sinal após amplificado:  Sinal com filtro passa baixo de 1ª ordem:  Circuito em causa (entrada e saída em paralelo):  Para consola, não exige som muito alto, este amplificador toma conta do recado, e o som tem uma qualidade aceitável. Nas medições, observei uma frequência residual de 50kHZ, é incomodativo, e o filtro ajudou um pouco. Este é composto por C30-R31-C31. No inicio coloquei 100nF em C31, resultado na foto acima. Entretanto abafava demasiado e acabei por trocar por um de 47nF. Atenuação ficou em 23db para 50kHz aproximadamente. Poderia ir para outro tipo de amplificador e desenhar um filtro de 2ªordem activo mais eficiente. Estar tudo a funcionar, é gratificante
|
Mensagens recentes