LLM Crawlers por TigPT
[Hoje às 16:26] Emulador NES em ESP32 por dropes [Hoje às 14:48] Circuito Microfone que funcione por almamater [27 de Abril de 2024, 17:14] Arame de Estendal por almamater [18 de Abril de 2024, 16:16] O que é isto ? por SerraCabo [12 de Abril de 2024, 14:20] Amplificador - Rockboard HA 1 In-Ear por almamater [11 de Abril de 2024, 20:46] Meu novo robô por josecarlos [29 de Março de 2024, 18:30] Bateria - Portátil por almamater [25 de Março de 2024, 22:14] Escolher Osciloscópio por jm_araujo [06 de Fevereiro de 2024, 23:07] TP4056 - Dúvida por dropes [31 de Janeiro de 2024, 14:13] |
1
Acerca do LusoRobótica / Re: LLM Crawlers« Última mensagem por TigPT em Hoje às 16:26 »Obrigado pelas dicas, implementei o Crawl-delay: 30 no robots.txt a ver como se comporta nos próximos dias.
Se não, acho que vou meter um rate limit por ip no nginx. 2
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em Hoje às 14:48 »Resolvi aplicar um DAC PCM5102A para ver a diferença.
O ruído de fundo desapareceu completamente, e baixando o volume, não apresentou qualquer distorção; como acontecia no DAC interno. A qualidade do som também foi extrema, mesmo com um speaker de um 3310 Entretanto, verifiquei que a velocidade da emulação não fica diferente do DAC interno; 16 bits, só mesmo sem som. Aqui vai o frankenstein A alimentação também foi alterada, não tinha sentido a actual: - A bateria pode ser carregada em qualquer posição do interruptor, quando detectada tensão via USB - O novo DAC só é alimentado na 2ª posição, na 3ª só o DAC interno fica disponível (PCM5102A consome +-30mA) - Quando em carregamento da bateria, se o interruptor estiver na posição 1, o restante circuito não é alimentado. (o display não acende) - O mute do amplificador ficou sem efeito (este amplificador ficaria em mute caso se seleciona-se um DAC externo) Não vou realizar nova PCB, mas cá fica o resultado após as modificações: Sem plano de terra aqui aplicado: Esquema geral: Escusava de desenhar as correções, já que não tinha intenções de fabricar a PCB, foi por gosto 3
Acerca do LusoRobótica / Re: LLM Crawlers« Última mensagem por jm_araujo em 02 de Maio de 2024, 21:57 »Administro um forum popular, está quase todo aberto sem registo(só umas partes fechadas para incentivar ao registo.para partilharem), e não me importo com bots.
Não me faz impressão que os bots corram a NET toda para sacar informação, sou a favor de uma NET 100% aberta, no pouco software que criei (e divulguei), apesar de.irrelevante depois de muito pensar meti licença unlicence(estava indeciso entre essa e beerware). E detesto paywallls. Não sei se já foi visitado por esses bots, estou na PTISP com alojamento SSD e sempre foi muito rápido, mesmo com mais de 100 utilizadores simultâneos. Acho que no robots.txt tens opções para limitar o comportamento dos bots, falta saber é se são todos cumpridores. O meu robots.txt: Código: [Seleccione] User-agent: * (O software é SMF)Edit de 6ª Feira (ainda não tinha respostas): Estive a ver logs, tenho o Claudebot a passear, e respeita o "Crawl-delay:30" do robots.txt. O Amazonbot ainda não circula. (bing e google já são habituais, vi um novo trendictionbot mas não é LLM). Já vi que o lusorobotica não tem o "Crawl-Delay" no robots.txt, mete que te deve resolver os problemas de congestão. 4
Acerca do LusoRobótica / Re: LLM Crawlers« Última mensagem por TigPT em 02 de Maio de 2024, 19:58 »Aqui está uma snippet das logs, mais logs no ficheiro txt em anexo.
Código: [Seleccione] lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:45 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=875.0 HTTP/2.0" 200 9884 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80" 5
Acerca do LusoRobótica / LLM Crawlers« Última mensagem por TigPT em 02 de Maio de 2024, 19:38 »Hoje recebi uma série de emails, utilização de CPU do servidor acima do normal.
Primeiro pensei que fosse alguma tentativa de bruteforce mas quando comecei a analisar as logs apercebi-me que dois bots (Claude from Anthropic e o Amazonbot), estão a fazer crawling do LR todo página a página, possivelmente para treinar estes LLMs em Português. Primeiro, qual a vossa opinião sobre o assunto? deveríamos bloquear estes bot ou deixa-los indexar todo o histórico, em prol de mais e melhores LLMs ? De forma geral, acho que a informação aqui é pública e como tal, não me oponho ao crawling da mesma, por outro, gostava que fossem mais simpáticos e fizessem esse crawling ao longo de várias semanas em vez de quererem sugar todo o website em poucas horas / dias. Alguém sabe de um mecanismo de pushback a estes bots para que não sejam tão agressivos no crawling? ex, já considerei forçar uma pausa na resposta quando o header é de um bot, para que o bot assuma que está a meter o site lento por respostas mais demoradas e reduza o numero de requests por segundo que faz. 6
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 30 de Abril de 2024, 15:09 »É um projecto interessante, que merece o tempo dispendido, já que a despesa é mínima (12 no meu caso, lcd + esp32)
Improvisei nos botões para os switchs, todos os 12 levaram espaçadores, sem folgas. Careço de uma impressora 3D, a caixa foi realizada com 2 placas de acrílico 2mm, dobradas termicamente em forma de U. O Esp32 deve ser de 16MB flash e 8MB PSRAM, a versão original do Odroid-go tem o micro ESP32-WROVER-B, que se encontra obsoleto, estando presente a versão -E. - 90% dos jogos correm bem em emulação, o som é por simulação dos chips, e é fantastico. - Além das consolas de 8bits, não fica atrás nas de 16bits, "Megadrive / Genesis" e "Super Nintendo". - Infelizmente fica complicado emular multiplos chips de SOM em 16bits, e arrasta um bocado (é opcional no menu). - Todos os jogos permitem a gravação do estado actual deles (grava ficheiros em SD), muito bom para continuar sem ser do inicio. - Correr Doom num micro de 5€ é fantástico, com todos os sons e movimentos fluidos. Existem duas versões de firmware para o "hardware odroid-go", o próprio "odroid-go" e o "retro-go", que abrange as emulações da anterior e mais algumas, incluindo as de 16bits. Se alguém estiver interessado, posso gerar um tutorial ao pormenor; as informações estão um bocado dispersas e não são nada intuitivas. 7
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por jm_araujo em 29 de Abril de 2024, 18:12 »Boa dica, dá-me vontade de fazer uma coisa dessas, como assim acho que tenho o hardware todo em stock...
8
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 29 de Abril de 2024, 15:50 »Obrigado
Nova descoberta https://forum.odroid.com/viewtopic.php?t=37599 Retro-Go: suporta Genesis e TurboGrafx-16 (PC-Engine), agora sim, está completo 9
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por almamater em 28 de Abril de 2024, 17:34 » uau ficou muito bom! Parabéns pelo projecto!!
10
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 28 de Abril de 2024, 15:36 »Gostei dos emuladores, funcionam perfeitamente e os botões são responsivos. Permite também ajustar o brilho, volume de som, e entrar em modo sleep, sabe-se lá porquê. A velocidade corresponde, sem perdas de frames. Testei com sucesso, NES, GB, GBC, SMS e GG Quase todos os jogos rolam bem, poucos bloqueiam ao iniciar. Sim, Doom também funcionou aqui. Parece que Duke Nukem 3D também, mas esse não testei. Tyrian e Wolfenstein 3D, não consegui correr, devo estar a fazer algo mal... Bem... funciona |