collapse

* Posts Recentes

LLM Crawlers por TigPT
[Hoje às 16:26]


Emulador NES em ESP32 por dropes
[Hoje às 14:48]


Circuito Microfone que funcione por almamater
[27 de Abril de 2024, 17:14]


Arame de Estendal por almamater
[18 de Abril de 2024, 16:16]


O que é isto ? por SerraCabo
[12 de Abril de 2024, 14:20]


Amplificador - Rockboard HA 1 In-Ear por almamater
[11 de Abril de 2024, 20:46]


Meu novo robô por josecarlos
[29 de Março de 2024, 18:30]


Bateria - Portátil por almamater
[25 de Março de 2024, 22:14]


Escolher Osciloscópio por jm_araujo
[06 de Fevereiro de 2024, 23:07]


TP4056 - Dúvida por dropes
[31 de Janeiro de 2024, 14:13]

Mensagens recentes

Páginas: [1] 2 3 ... 10
1
Acerca do LusoRobótica / Re: LLM Crawlers
« Última mensagem por TigPT em Hoje às 16:26 »
Obrigado pelas dicas, implementei o Crawl-delay: 30 no robots.txt a ver como se comporta nos próximos dias.

Se não, acho que vou meter um rate limit por ip no nginx.
2
Outros Sistemas / Re: Emulador NES em ESP32
« Última mensagem por dropes em Hoje às 14:48 »
Resolvi aplicar um DAC PCM5102A para ver a diferença.
O ruído de fundo desapareceu completamente, e baixando o volume, não apresentou qualquer distorção; como acontecia no DAC interno.
A qualidade do som também foi extrema, mesmo com um speaker de um 3310 :P
Entretanto, verifiquei que a velocidade da emulação não fica diferente do DAC interno; 16 bits, só mesmo sem som.

Aqui vai o frankenstein


A alimentação também foi alterada, não tinha sentido a actual:
- A bateria pode ser carregada em qualquer posição do interruptor, quando detectada tensão via USB
- O novo DAC só é alimentado na 2ª posição, na 3ª só o DAC interno fica disponível (PCM5102A consome +-30mA)
- Quando em carregamento da bateria, se o interruptor estiver na posição 1, o restante circuito não é alimentado. (o display não acende)
- O mute do amplificador ficou sem efeito (este amplificador ficaria em mute caso se seleciona-se um DAC externo)

Não vou realizar nova PCB, mas cá fica o resultado após as modificações:

Sem plano de terra aqui aplicado:


Esquema geral:


Escusava de desenhar as correções, já que não tinha intenções de fabricar a PCB, foi por gosto  ;D
3
Acerca do LusoRobótica / Re: LLM Crawlers
« Última mensagem por jm_araujo em 02 de Maio de 2024, 21:57 »
Administro um forum popular, está quase todo aberto sem registo(só umas partes fechadas para incentivar ao registo.para partilharem), e não me importo com bots.
Não me faz impressão que os bots corram a NET toda para sacar informação, sou a favor de uma NET 100% aberta, no pouco software que criei (e divulguei), apesar de.irrelevante depois de muito pensar meti licença unlicence(estava indeciso entre essa e beerware). E detesto paywallls.
Não sei se já foi visitado por esses bots, estou na PTISP com alojamento SSD e sempre foi muito rápido, mesmo com mais de 100 utilizadores simultâneos.
Acho que no robots.txt tens opções para limitar o comportamento dos bots, falta saber é se são todos cumpridores.
O meu robots.txt:
Código: [Seleccione]
User-agent: *
Crawl-delay: 30
Disallow: /Smileys
Disallow: /Themes
Disallow: /*msg
Disallow: /*wap
Disallow: /*action
Disallow: /*sort
(O software é SMF)

Edit de 6ª Feira (ainda não tinha respostas):
Estive a ver logs, tenho o Claudebot a passear, e respeita o "Crawl-delay:30" do robots.txt. O Amazonbot ainda não circula. (bing e google já são habituais, vi um novo trendictionbot mas não é LLM).
Já vi que o lusorobotica não tem o "Crawl-Delay" no robots.txt, mete que te deve resolver os problemas de congestão.
4
Acerca do LusoRobótica / Re: LLM Crawlers
« Última mensagem por TigPT em 02 de Maio de 2024, 19:58 »
Aqui está uma snippet das logs, mais logs no ficheiro txt em anexo.

Código: [Seleccione]
lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:45 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=875.0 HTTP/2.0" 200 9884 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 54.36.149.14 - - [02/May/2024:18:55:47 +0000] "GET /index.php?topic=8102.msg91393 HTTP/2.0" 200 10333 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)" "172.18.0.17:80"
lusorobotica.com 3.143.168.172 - - [02/May/2024:18:55:47 +0000] "GET /index.php?PHPSESSID=1a8c11bc68a7451598ccebc558c1bcab&action=profile;u=2750 HTTP/2.0" 200 3156 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:49 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=205.0 HTTP/2.0" 200 7569 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 3.22.119.251 - - [02/May/2024:18:55:52 +0000] "GET /index.php?PHPSESSID=efe708a3b83c2b0e1fa70e6b544b1d1c&action=recent HTTP/2.0" 200 8425 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 3.224.220.101 - - [02/May/2024:18:55:53 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&board=59.40 HTTP/2.0" 200 6112 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 3.145.15.1 - - [02/May/2024:18:55:57 +0000] "GET /index.php?PHPSESSID=ada81f073cc2b2ea3f110369c8acaea1&topic=6467.msg104287 HTTP/2.0" 200 9179 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:57 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=916.0 HTTP/2.0" 200 9542 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 52.167.144.238 - - [02/May/2024:18:55:58 +0000] "GET /index.php?board=20.920 HTTP/2.0" 200 7319 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "172.18.0.17:80"
lusorobotica.com 3.224.220.101 - - [02/May/2024:18:56:01 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=221.0 HTTP/2.0" 200 10096 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 13.59.61.119 - - [02/May/2024:18:56:02 +0000] "GET /index.php?PHPSESSID=e7591d4c022e7bd76941935cdbc2f117&action=dlattach;topic=9553.0;attach=4723;image HTTP/2.0" 200 21901 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 52.70.240.171 - - [02/May/2024:18:56:05 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=842.0 HTTP/2.0" 200 10875 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
lusorobotica.com 5.255.231.187 - - [02/May/2024:18:56:06 +0000] "GET /index.php?topic=9004.0 HTTP/2.0" 200 7416 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "172.18.0.17:80"
lusorobotica.com 3.145.119.199 - - [02/May/2024:18:56:07 +0000] "GET /index.php?PHPSESSID=fc5504c97c744593f80bf35bf8ed880c&topic=10003.0 HTTP/2.0" 200 6431 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "172.18.0.17:80"
lusorobotica.com 3.224.220.101 - - [02/May/2024:18:56:09 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=229.0 HTTP/2.0" 200 9670 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80"
5
Acerca do LusoRobótica / LLM Crawlers
« Última mensagem por TigPT em 02 de Maio de 2024, 19:38 »
Hoje recebi uma série de emails, utilização de CPU do servidor acima do normal.



Primeiro pensei que fosse alguma tentativa de bruteforce mas quando comecei a analisar as logs apercebi-me que dois bots (Claude from Anthropic e o Amazonbot), estão a fazer crawling do LR todo página a página, possivelmente para treinar estes LLMs em Português.

Primeiro, qual a vossa opinião sobre o assunto? deveríamos bloquear estes bot ou deixa-los indexar todo o histórico, em prol de mais e melhores LLMs ?

De forma geral, acho que a informação aqui é pública e como tal, não me oponho ao crawling da mesma, por outro, gostava que fossem mais simpáticos e fizessem esse crawling ao longo de várias semanas em vez de quererem sugar todo o website em poucas horas / dias.

Alguém sabe de um mecanismo de pushback a estes bots para que não sejam tão agressivos no crawling? ex, já considerei forçar uma pausa na resposta quando o header é de um bot, para que o bot assuma que está a meter o site lento por respostas mais demoradas e reduza o numero de requests por segundo que faz.
6
Outros Sistemas / Re: Emulador NES em ESP32
« Última mensagem por dropes em 30 de Abril de 2024, 15:09 »
É um projecto interessante, que merece o tempo dispendido, já que a despesa é mínima (12 no meu caso, lcd + esp32)

Improvisei nos botões para os switchs, todos os 12 levaram espaçadores, sem folgas.
Careço de uma impressora 3D, a caixa foi realizada com 2 placas de acrílico 2mm, dobradas termicamente em forma de U.

O Esp32 deve ser de 16MB flash e 8MB PSRAM, a versão original do Odroid-go tem o micro ESP32-WROVER-B,
que se encontra obsoleto, estando presente a versão -E.

- 90% dos jogos correm bem em emulação, o som é por simulação dos chips, e é fantastico.
- Além das consolas de 8bits, não fica atrás nas de 16bits, "Megadrive / Genesis" e "Super Nintendo".
- Infelizmente fica complicado emular multiplos chips de SOM em 16bits, e arrasta um bocado (é opcional no menu).
- Todos os jogos permitem a gravação do estado actual deles (grava ficheiros em SD), muito bom para continuar sem ser do inicio.
- Correr Doom num micro de 5€ é fantástico, com todos os sons e movimentos fluidos.

Existem duas versões de firmware para o "hardware odroid-go", o próprio "odroid-go" e o "retro-go", que abrange as emulações da anterior e mais algumas, incluindo as de 16bits.

Se alguém estiver interessado, posso gerar um tutorial ao pormenor; as informações estão um bocado dispersas e não são nada intuitivas.
7
Outros Sistemas / Re: Emulador NES em ESP32
« Última mensagem por jm_araujo em 29 de Abril de 2024, 18:12 »
Boa dica, dá-me vontade de fazer uma coisa dessas, como assim acho que tenho o hardware todo em stock...
8
Outros Sistemas / Re: Emulador NES em ESP32
« Última mensagem por dropes em 29 de Abril de 2024, 15:50 »
Obrigado  :)

Nova descoberta https://forum.odroid.com/viewtopic.php?t=37599

Retro-Go: suporta Genesis e TurboGrafx-16 (PC-Engine), agora sim, está completo  8)
9
Outros Sistemas / Re: Emulador NES em ESP32
« Última mensagem por almamater em 28 de Abril de 2024, 17:34 »
 :D  uau ficou muito bom! Parabéns pelo projecto!!
10
Outros Sistemas / Re: Emulador NES em ESP32
« Última mensagem por dropes em 28 de Abril de 2024, 15:36 »




Gostei dos emuladores, funcionam perfeitamente e os botões são responsivos.
Permite também ajustar o brilho, volume de som, e entrar em modo sleep, sabe-se lá porquê.
A velocidade corresponde, sem perdas de frames.

Testei com sucesso, NES, GB, GBC, SMS e GG
Quase todos os jogos rolam bem, poucos bloqueiam ao iniciar.

Sim, Doom também funcionou aqui.
Parece que Duke Nukem 3D também, mas esse não testei.
Tyrian e Wolfenstein 3D, não consegui correr, devo estar a fazer algo mal...

Bem... funciona
Páginas: [1] 2 3 ... 10