Proponha uma correção, faça uma sugestão
OnePlus 3T tem estado a adulterar os testes de benchmark
Muitos clientes baseiam as suas decisões de compra nos testes de benchmark dos dispositivos. São valores meramente indicativos e obtidos em ambientes muito específicos, mas mostram o poder de cada equipamento.
A avaliação dos testes de benchmark ao OnePlus 3T revelou que afinal este smartphone tem andado a adulterar os resultados.
Foi o conhecido site XDA que descobriu um comportamento anormal nos OnePlus 3T sempre que eram executados testes de benchmark. Ao contrário do que seria esperado, o 3T mantinha os recursos todos disponíveis e ativava velocidades mais elevadas em alguns dos processadores sempre que determinados processos estavam a ser executados.
Com este comportamento, o OnePlus 3T conseguia melhores resultados nos testes de benchmark, adulterando os valores e tendo assim melhores resultados, sobressaindo naturalmente quando comparado com a concorrência.
A deteção dos testes de benchmark era feita contra o nome das aplicações que eram executadas. Sempre que determinados nomes, associados aos testes, eram detetados, esta disponibilização extra de recursos era ativada e por isso os testes corriam de forma muito mais rápida.
A resposta da OnePlus aos resultados do 3T
A OnePlus já veio reconhecer esta situação e admitiu que o fazia para dar aos utilizadores uma melhor experiência de utilização. As próximas versões do OxygenOS, o seu sistema operativo baseado no Android, vão trazer a correção e eliminar este comportamento.
In order to give users a better user experience in resource intensive apps and games, especially graphically intensive ones, we implemented certain mechanisms in the community and Nougat builds to trigger the processor to run more aggressively. The trigger process for benchmarking apps will not be present in upcoming OxygenOS builds on the OnePlus 3 and OnePlus 3T.
Esta não é a primeira vez que este comportamento acontece. Já antes a Samsung tinha usado um mecanismo similar para obter melhores resultados no Note 3, tendo sido também descoberta a forma como se adaptada aos testes de benchmark.
Via XDA
Este artigo tem mais de um ano
Loading ...
mas é normal acontecer -.-‘ até no pc o processador só dá o máximo quando se abre um jogo ou assim.. até lá fica no modo poupança de bateria. Enfim
Por norma apenas quando é exigido mais performance é que os processadores aumentam a velocidade. Neste caso o processador começa logo mais cedo a velocidades mais elevadas, garantindo uma performance melhor muito mais cedo e subvertendo o teste
Mas acaba por ser igual, porque os utilizadores vão na mesma aproveitar essas velocidades nas aplicações mais pesadas.
(Atenção que não estou a defender a oneplus nem tenho nenhum produto dessa empresa)
Isso não é verdade. O que acontece neste caso (e daí irem retirar a “feature” nos próximos updates) é que a performance extra só é dada nos benchmark, em que é dada a indicação para o SoC ignorar os parametros standard (mesmo para jogos puxados) e funcionar a velocidades, voltagens e temperaturas superiores às normais.
No final a pontuação é anormalmente superior ao conseguido nas apps e jogos.
Isso já faço com uma custom rom que permita efectuar alterações a nível de processador, governador, etc.. 🙂 sempre a bombar! 🙂
Pedro S., fazes tu para ti de forma consciente, provavelmente afectando todas as aplicações, muito diferente do caso dum fabricante modificar o comportamento, de forma dissimulada, apenas para benchmarks
Aconselho vivamente a leitura atenta do artigo original no XDA!
1+ != Meizu 😉
Não confio nesta marca ONEPLUS
Não, não é igual.
Eles estão a definir comportamento especial para vários benchmarks, dando logo desde o início maior velocidade de relógio e maior nº de núcleos activos, coisas que não acontecem com as restantes aplicações, e provavelmente até definiram de modo a sofrer menos throttling ou a receber prioridade no processamento ao longo do teste.
Isto é feito para deturpar intencionalmente a comparação com outros aparelhos via benchmarks, de modo a ser favorecido.
Como a Apple faz mas como é closed source tu não sabes 🙂
Logic404!, não é preciso ser open source para verificar estas coisas, basta ires ler como isto foi inicialmente descoberto para perceberes que não teve nada a ver com acesso ao código do sistema, até porque muito do código do kernel para os processadores é proprietário.
isso não serve para ver o melhor que o telemóvel pode fazer? Pensei que eles adulteravam os números e tal, mas aumentar a performance quando exigido (benchmaks, jogos etc etc) é perfeitamente normal.
VW…
Seat, idem aspas!!!
Se fosse só a OnePlus..
segundo a xda são poucos os fabricantes que o fazem.
como todos o fazem, não me admiro.
A verdade é que mandei vir um e estou muito satisfeito. E tendo em conta a diferença de preço para um equipamento equivalente, penso que seja muito boa opção.
Pelo menos eu, recomendo!
tenho o OP1 ha mais de 2 anos. É raro deixar me ‘ficar mal’. Corre Tudo. É mesmo muito bom.
Olhem aqui:
“While we were researching this article, near the end of completing our findings and after finishing a first draft, I reached out to OnePlus to complain about the issue and requested that they fix it. Despite the Chinese New Year, they got back to me, and assured me they are taking it seriously and completely stripping the OxygenOS ROM of this unfair advantage in benchmarks. This is more than what any OEMs we reached out to have done, and I actually commend OnePlus for always listening to the feedback the community provides. Was it a crappy decision? Absolutely, but two things I would keep in mind is that this didn’t impact reviews of the OP3, as the behavior wasn’t in place then, and that this wasn’t something that the OxygenOS team in particular decided to implement from the get go. I don’t know the specifics, but it could have been an oversight from merging the two teams and the two projects. Either way, we won’t excuse the practice and so we wrote this article, the same way we called them out on the IMEI leaks, the bootloader vulnerability, RAM management issues, GPL compliance, etc. While they aren’t perfect at communicating with the community, I can tell you for a fact that they are more willing to engage in discussion with their users. And this year, many OEMs seem increasingly wary of providing sites like XDA review units precisely because they fear we’ll write this kind of content about their phones (and we will anyway).”
“Muitos clientes baseiam as suas decisões de compra nos testes de benchmark dos dispositivos.” LOL… é preciso sofrer de burridade crónica, é que ainda se fosse pela cor e design… xP
Agora a sério: o mais importante é mesmo a qualidade e tempo do suporte e atualizações futuras prestados pela marca, pois hardware vai dar tudo ao mesmo para 99% das funções necessárias num smartphone.
“Muitos clientes baseiam as suas decisões de compra nos testes de benchmark dos dispositivos.”
eu até pensei. gostava de saber quem são esses clientes
Ha muitos, e outros vao pelas marcas, nem sabem o que compram nem porque.
Os mesmos que compram um telefone porque tem mais Ghz que o outro 😉
a burrice é ter topo de gama lancado ha 2 anos e hj qerem comprar outro telemovel intermedio ou low cost, compram às cegas e descobrir qe afinal é o mais fraco qe o antecessor. consegues saber qal deles o mais potente em cpu e grafica, o snapdragon 800 ou mtk 6757 ? 😉
Muito simples, se tivessem adicionado um “Performance mode” toda a gente batia palmas, como não o fizerem é considerado “cheating”… Um benchmark é um stress test que permite avaliar o melhor desempenho possível que só é obtido através das freqs no maximo, por isso o que é feito é alterar o binario no perfd para colocar a freq min com os valores de hispeed_freq deste modo não há variações, isto só faz sentido em stress tests que não são executados em daily usage, já por exemplo para o gaming não faz tanto sentido porque são aplicações executadas regularmente por muita gente e isto vai provocar problemas de aquecimento e bateria.
De todos os devs com quem tenho falado, é raro o que assume isto como sendo batotice até porque esta alteração pode ser processada por qualquer OEM (aliás isto já existe por exemplo no Nubia, a diferença é que tem um nome, é controlado pelo utilizador e não permite adicionar algumas apps de benchmark, o que na minha opinião não fará grande sentido já que o score que apresenta não é concerteza espelho da capacidade do dispositivo).
Já agora acrescento, esta alteração no perfd atualmente não afeta apenas apps de bechmark, afeta também alguns jogos mais pesados.
Eu acrescento: se essa “performance” estivesse disponível para todas as apps era normal como é óbvio. Como é nos benchmark ou jogos usados como benchmark, aí é adulteração.
Imagina um carro chipado… Apesar de não ser normalmente utilizado não deixa de ser um meio de atingir a capacidade maxima de aceleração de um carro. No entanto não vêm assim de origem por questões de durabilidade e talvez regras de mercado
Alexandre, imagina um carro “chipado” para ter um comportamento diferente em condições de teste conhecidas, diferente do que acontece no uso do dia a dia – nem é preciso imaginar muito, a Volkswagen e outras fizeram-no.
Aqui é o mesmo, determinam um comportamento diferente para um conjunto reduzido de aplicações que são conhecidas por serem usadas em testes.
Isso seria tudo menos normal, puxar freq min para hispeed_freq só pode ser feito em stress tests não em aplicações para daily use, porque isso iria provocar problemas de aquecimento e bateria.
A performance alcançada em benchmarks é a performance máxima que o teu equipamento consegue atingir não é suposto ser reflexo da utilização diária, por isso é que não se devem escolher equipamentos apenas com base em benchmarks.
Outro ponto importante é o facto de que as comparações que estão a ser feitas aqui com carros para além de parvas estão incorrectas, estás freq são atingidas pelo equipamento em qualquer aplicação, até pela camera por exemplo, não se trata de utilizar freq que são inalcançáveis, isso está totalmente errado e isso é que me faz imensa confusão, toda a gente tem uma opinião é um julgamento a fazer mas nem sequer sabe minimamente aquilo que foi feito.
AFontes, aqueles benchmarks são usados para a avaliar a performance máxima (e outros parâmetros) dos equipamentos nas definições em que as pessoas os usam, e não com definições feitas à medida das aplicações de benchmark, pois doutra maneira diria pouco sobre a realidade e possíveis problemas do equipamento em comparação com os outros.
AFontes, quanto ao resto do que dizes, acho que tu é que não estás a perceber o que é que está a ser dito e o que foi feito. Vai ler o artigo original e verás que se está a reclamar da forma como aumentam “artificialmente” logo no início a velocidade de relógio (o que dá uma ligeira vantagem) e como a velocidade se mantém ao longo dos vários testes em valores superiores ao que se obteria com as definições normais, demonstrando que eles ajustaram os parâmetros de throttling do processador especialmente para os benchmarks.
Repito, um benchmark é um stress test e não um teste que te permite concluir o quão rápido ele é em real word, mas sim o desempenho máximo que ele pode atingir. Com esta alteração ou sem ela um benchmark não é suposto dizer muito sobre a realidade do equipamento.
É preciso ter noção que as freq obtidas em aplicações benchmark são obtidas em qualquer outra aplicação, não estão a fazer uso de valores que o utilizador não consegue alcançar.
AFontes, primeiro que tudo um benchmark não significa que é um stress test, há muitos tipos de benchmark.
2º ponto, benchmark artificiais nunca serviram para medir a performance no mundo real – são artificiais, não são as aplicações normais (mundo real) – nem ninguém aqui disse que servem para isso, servem isso sim para obter uma avaliação mais rápida e menos subjectiva das capacidades da máquina e devem reflectir a capacidade da máquina nos parâmetros em que a mesma vai ser usada, ou seja não deve ser feito com parâmetros especiais que nunca mais vão ser usados – não devem fazer o que a Volkswagen fez!
3º ponto, quem desenha estes benchmarks discorda do que estás a dizer, se não acreditas basta seguires os links no artigo
4º ponto, a frequência dos SoC nestes aparelhos é variável e é suposto baixar quando atinge um limite de temperatura. O que se verificou é que eles mudaram esse limite de temperatura para os benchmarks face às outras aplicações, ou seja, a velocidade de relógio ao longo dos testes é superior ao que a pessoa obteria a usar outras aplicações com igual grau de exigência, etc.
Tens que reparar que a performance é medida ao longo do tempo, não consegue determinar sabendo só um pico de velocidade de relógio.
1- Os benchmarks em questão onde este caso é realmente um caso são stress tests.
2- A pontuação em benchmark reflete a capacidade máxima que a maquina pode atingir em qualquer (sublinho, qualquer) aplicação, por uma questão de proteção do equipamento a freq min é reduzida porque um bech test não é o mesmo que uma app real world. Sobre o caso da VW nem vou comentar porque isso é ridículo, não tem nada a ver uma coisa com a outra.
4- Os parâmetros de avaliação são na maioria dos testes são multitasking, runtime, cpu performance, float-point, ram operation, ram speed, 2d/3d graphics, storage e database i/o, não é considerada a temperatura, mesmo que fosse estás totalmente errado, não foi mexido nada em relação à temperatura, o que foi alterado foi o perfd, o que faz com que as freq se mantenham constantemente no máximo, por isso os resultados apresentam a performance máxima que o equipamento pode atingir (que corresponde a mais de 70% em jogos).
O perfd nas gerações passadas apenas recolhia valores e sabia como fazer boost, nesta geração foi adiciona a possibilidade de ele editar os parâmetros e bloquear algumas opções de forma a ser ele mesmo a manipular esses valores, isto funciona tanto para fazer boost como para entrar em power saving.
Não há NADA de errado nisto, o único erro e aqui é que toda a gente está de acordo que a oneplus falhou é o facto de não ter corrido a baseline como fazem outras OEM’s. Não ter deixado a possibilidade de ativar ou desativar (nem mesmo a devs e isto foi muitas vezes uma dor de cabeça), porque tens outras OEM’s que têm este “performance mode” nos seus equipamentos.
De resto arrisco-me a dizer 2 coisas, posso estar errado em ambas mas é a minha “aposta”, a primeira é que os resultados do benchmark vão ser praticamente os mesmos e eventualmente se fizerem a alteração do kernel em condições os scores vão ser ainda melhores em muitos casos e a segunda “aposta” é que não vão remover o dispositivo dos testes pelo simples facto que isto não é considerado “cheating” (na minha opinião) e não há nada de errado com isso.
AFontes, não AFontes, o Geekbench não é um stress test, ele fica aquém de saturar o CPU. Um stress test é algo significativamente mais intensivo que o Geekbench, algo como a Anandtech fazia há uns tempos com código por eles desenvolvido, o que eles chamavam mini-power-virus, para verificar os picos máximos de consumo possíveis e os limites para throttling térmico nos aparelhos – pesquisa sobre o conceito de stress test.
2- o que dizes é o que o 1+3T não fez, já que não é qualquer aplicação que consegue correr nas condições em que o benchmark corre: as outras aplicações estão sujeitas a mais throttling, etc, para reduzir consumo e aquecimento. O que VW fez foi do mesmo género, mudava o comportamento do carro nas condições de teste, para obter melhores resultados nas emissões, coisa que até poderia continuar a fazer no dia a dia, mas não fazia porque levaria a ter pior desempenho noutras vertentes.
3- é estranho como te deste ao trabalho de escrever tanto e ignorar este ponto que põe por terra boa parte da tua ideia.
4- mas o que é que estás para aí a desconversar! Vai ler o que a xda fez para verificar o que estava a acontecer. Os SoC têm regulação de velocidade de relógio com base em limites térmicos definidos no sistema, e fica bem visível nos testes da xda que a 1+ definiu outros limites para os benchmarks que listou, e com isso foi possível obter alguma vantagem.
Perdes a aposta pois a 1+ já disse que iria deixar de fazer isto e pediu desculpa.
O Geekbench tem stress test, pelo menos a ultima vez que usei tinha, a não ser que tenham removido em alguma nova versão, não uso.
2- Exatamente porque nem todas as aplicações necessitam de hispeed_freq constante, mesmo assim são valores que são atingidos por qualquer aplicação e em algumas exceções estão a ser corridos nas mesmas condições. O caso da VW tem contornos diferentes, foram instalados defeat devices para que em condições de laboratório os resultados das emissões de gases NOX fossem muito inferiores aos resultados em estrada, no caso da OnePlus existem muitas diferenças, primeiro estes valores são alcansaveis por qualquer aplicação, algumas delas até nas mesmas condições de teste, neste caso a performance foi aumentada, no caso da vw foi diminuída, o perfd não foi adicionado pela Oneplus, ele faz parte e é permitido altera-lo e existem mais umas quantas diferenças.
3- Eu não comentei este ponto por motivos óbvios, eles são contra performance mode (não só em benchmarking tests), não acham que valha a pena atendendo aos riscos que corres, a oneplus (e não é a única) acham que vale a pena, é uma questão de opinião, tem um lado positivo e negativo e quanto a isso nem eu nem tu podemos argumentar, simplesmente concordas ou discordas deles, os argumentos são todos os outros pontos aqui comentados, aquilo com o qual eu não concordo e volto a frisar, é o facto de não deixarem o utilizador decidir se quer utilizar este modo ou não e o facto de não terem publicado isto.
4- A questão dos limites térmicos é apenas uma hipótese, o facto de não entenderes não significa que esteja a desconversar, se estiver por aqui algum dev certamente entenderá, o que foi feito não tem a ver com qualquer limite termico, foi feita sim uma alteração no daemon perfd que coloca o limite min com o valor do limite max. Aquilo que vês nos gráficos com comparações entre a a regular build e a secret build é que as temp aumentaram de forma natural ao longo do tempo e dependendo do teste que esta a correr porque o perfd bloqueia algumas opções e fica com prioridade, logo prevalece sobre outras restrições que possam existir.
Quanto à conclusão eu não perdi nada, a oneplus vai remover o “tweak” das aplicações benchmarking (ainda parcialmente porque vai manter em alguns jogos que também são alvos de benchmark) e as minhas apostas não têm NADA a ver com isso, a 1ª é sobre os resultados dos testes, vão ser praticamente iguais a 2ª é que o Oneplus 3 não vai ser removido da lista de devices, como aconteceu com a Samsung e a HTC na Futuremark por exemplo.
PS: 4- Se fosse alterado o limite térmico e a freq min continuasse igual, tu tinhas um comportamento em que os valores oscilavam consideravelmente sendo que a única diferença seria a freq min mais alta, não é o que acontece, o que foi feito foi o que expliquei antes no comentário e deixo aqui um gráfico exemplo do que acontece com esta otimização http://imgur.com/au7TIrZ
AFontes, o teste de performance (que é o que tens falado) do Geekbench não é um stress test.
Deves estar a confundir com o antigo teste de bateria, que era um teste à parte da medição de performance e que dava uma ideia de durabilidade da bateria, mas que já nem existe na última versão do Geekbench.
2- Mas tu queres tapar o sol com a peneira para quê? Teimas em dizer coisas que te já explicaram serem falsas. As outras aplicações não conseguem correr nas condições em que aqueles benchmarks correm… como por exemplo os limites térmicos serem outros. VW… é assim tão complicado perceberes o paralelo de enganar testes? No 1+3T foi instalada uma lista especial de aplicações que correm em condições de “laboratório”, que no dia a dia levariam a consumos e calor excessivos. É sempre um jogo de equilíbrios, e quer a 1+ quer a VW tentaram enganar onde é que estava o equilíbrio.
3- Falso! Mas será que ainda não percebeste que o que foi feito não foi um performance mode? As outras aplicações não têm acesso aquelas condições, de tal forma que o mesmo benchmark corrido com outra identificação, obtém piores resultados.
4- lol! vai ver os gráficos outras vez, e vai ler um pouco sobre como é que os SoC são regulados nestes aparelhos em função de limites térmicos. O que tu vês nos gráficos é conseguir manter de forma sustentada o SoC a funcionar com maior performance a temperaturas superiores ao normal – vê bem os vários valores que são medidos.
Quanto à aposta, tinha percebido outra coisa, mas o que é certo é que a 1+ assumiu estar errada, e o facto é que a lista estava direccionada para aplicações que são normalmente usadas para avaliar aparelhos, e o utilizador não sabia nem tinha acesso a essas coisas – demonstra intenção de adulterar avaliações comparativas!
Certo, estava a falar do teste de bateria no GB3.
2- O problema aqui é que tu insistes em algo que é falso, entre os processos que são procurados por nome estão incluídos processos de outros jogos, por isso sim ao contrário do que dizes há aplicações que não são de benchmarking que conseguem correr naquelas condições (tens inclusive varias passagem na XDA) e isso vai ser mantido, simplesmente o utilizador neste momento não consegue controlar quais são essas aplicações. Mais uma vez quanto à VW, por todos os motivos que referi antes é um caso totalmente diferente, dou-te mais se quiseres, estes benchmarks não são testes oficiais, não existe regulamentação para os valores dos testes, as consequenciais são incomparáveis, o battery drain e heating não é assim tão maior do que quando estás a jogar, a performance overall é aumentada em cerca de 3% com o CPU Load alto e mais uma vez volto a referir existem outras aplicações a atingir aqueles valores.
3- O mesmo benchmark corrido com outra identificação obtém piores resultados porque essa nova identificação não está incluída no kernel logo ele não faz a procura desse processo renomeado, isso não significa que outras aplicações não corram naquelas condições, para correrem naquelas condições as aplicações têm de ser adicionadas à “lista” manualmente coisa que obviamente não foi feito com a aplicação renomeada, tal como não é feito com TODAS as aplicações mas é feito sim com um grupo restrito de aplicações no qual estão incluídos outros jogos, aliás isso é um dos problemas é que se a oneplus não atualizar essa “lista” quando forem lançadas novas aplicações elas não vão ter acesso a essas condições e vão correr em normal mode.
4- Tu insistes em algo que não entendes, o que tu ves no grafico é o comportamento normal, se estão a trabalhar com freq mais altas é normal que as temperaturas sejam mais altas, no shit… Isso não significa que tenha sido controlado através de limites térmicos e não é mesmo, isso não faz sentido porque se assim fosse ao atingir um determinado limite as freq caiam e isso não acontece seja o CPU load 0 ou 100% as freq mantêm-se, isto é controlado pelo daemon ao definir a freq min com o valor do parametro hispeed_freq, ignora outros parâmetros (como a temperatura, ou seja, sempre que o limite é atingido mesnmo que ele tente baixar as freq, como a freq min é igual à máxima ele não consegue baixar mais), já fizemos o teste no deamon e já foi tudo enviado para a oneplus a alteração e a sugestão para aplicarem o performance mode de acordo com o nome do processo e de acordo com a % CPU load.
Se quiseres tirar as tuas duvidas e tiveres um equipamento com esta configuração no perfd basta fazeres testes benchmark (geralmente com poucos não notas grande diferença, sugiro no mínimo 10), registas os resultados, abres o terminal, executas stop perfd (é necessario root) e comparas.
AFontes,
2- Algo que é falso? Mas que lata. Estamos a falar duma lista reduzida de aplicações, não editável pelo utilizador, com aplicações que foram identificadas pela xda como normalmente usadas para benchmark, incluindo os jogos na lista, e tu ainda achas que isso está acessível a qualquer aplicação? Mas em que mundo?
Há milhares e milhares de aplicações tão ou mais exigentes que não teriam como correr com as mesmas condições. ALiás o mesmo benchmark com outro nome, não consegue atingir… pára de tapar o sol com a peneira.
Se reparares bem no prolongar dos testes há uma diferença bastante grande em performance e temperatura, por isso não venhas dizer que não teria grande diferença no consumo e calor.
Mas o que é que interessa não ser testes oficiais? São benchmarks largamente usados pelos blogs e publicações nas análises que fazem e que as pessoas lêem e usam para ajudar nas escolhas. Quer a VW quer 1+ tentaram iludir o consumidor.
3- Mas será possível continuares a insistir numa coisa destas. O sistema não dá forma para adicionar aplicações à lista manualmente. É exactamente a mesma fantochada que aconteceu há uns anos atrás com outros fabricantes que foram apanhados a tentar enganar os benchmarks com listas deste género, com o mesmo tipo de desculpa, mas que na realidade depois não dava para mais nenhuma nova aplicação.
4- Não entendo? Antes de te explicar os gráficos, aconselho-te a ler o texto, onde é referido que se está diante de throttling térmico… O que dizes não fazer sentido é o que está nos gráficos (a performance cai ao longo dos testes)… repara como ao longo dos testes todos se estabelece um plateau de temperatura, que é diferente entre cada condição, e repara como há uma queda muito mais acentuada de performance na condição normal ao longo dos testes (especialmente em multicore). Acho que não é preciso dar nenhuma grande explicação para saberes o porquê das duas quebras em performance – a frequência do processador cai como forma de regular a temperatura, estando definido um limite de temperatura, é assim que todos os SoCs funcionam. Será que consegues inventar uma explicação alternativa para a quebra que acontece em ambos?
Ora se ambas as condições, realizam o mesmo trabalho no mesmo aparelho, mas têm quebras de diferentes amplitudes na performance [frequência do processador], isso só pode vir por ter um factor de regulação de frequência com diferentes valores, sendo que esse factor é o limite de temperatura.
2- O que eu digo que é acessível a qualquer aplicação são as freq, não confundas, eu não disse que que qualquer aplicação corria naquelas condições, disse sim que as freq que são utilizadas naquelas condições são atingidas por qualquer aplicação, não existe qualquer overclock, inclusive tens no 3º ponto a explicação onde refiro que as aplicações que não estão “listadas” não correm nestas condições.
3- Tu tens que ler com atenção onde é que eu disse que o utilizador tem a possibilidade de adicionar aplicações manualmente? Escrevi no ponto 3 “…aliás isso é um dos problemas é que se a oneplus não atualizar essa “lista”…” e escrevi no ponto 2 “…simplesmente o utilizador neste momento não consegue controlar quais são essas aplicações. …” por isso não percebo onde foste buscar isso.
4- Vou explicar novamente, o que acontece no userspace do stock kernel: no perfd tens uma flag -m “value”, esta flag determina o valor min, posso-te até dizer que no caso do Oneplus 3 o valor da flag é 60 nos little cores ou seja neste caso o perf daemon vai executar setprop ro.min_freq_0 960000 (hispeed_freq) isto irá fazer com que independentemente do CPU load a freq mínima seja 960MHz, deixando o parâmetro hispeed_freq de ter um efeito scale, de valor intermédio, já que ele vai diretamente de min_freq para o hispeed_load (default valor máximo) consoante o CPU load, isto é independentemente de qualquer parâmetro a freq vai estar a 960MHz (min_freq_0 = hispeed_freq), depois dependendo do load ele salta para a frequência máxima do core.
O que acontece na regular build é exatamente o que acontece na secret com uma única diferença, ele atinge a temperatura e tenta entrar em thermal throttling baixando do hispeed_load para o hispeed_freq e depois para o min_freq, o problema é que como o parametro min_freq está definido com o limite de hispeed_freq o throttling “falha” e não consegue baixar a temperatura.
Se o limite de temperatura estivesse a fazer o controlo, o parâmetro min_freq atingia os 307MHz e isso não acontece (posso-te enviar print do teste), no caso do teste o controlo de freq é feito desde os 960MHz até aos 1.6GHz de acordo com o load.
Quanto às variações, tu não estás num ambiente perfeito, existem outros fatores que influenciam para além da temperatura, mesmo que coloques o ./msm_thermal/core_control/enabled 0 vais ter variações de temperatura de teste para teste. Outra nota que indica que a temperatura não é o único fator em que influencia o score é que em alguns casos tens score mais altos com temps altas da mesma forma que também tens scores mais altos com temps a baixo dos limites, assim como tens temps iguais e scores diferentes, se a temp fosse o único fator todos os scores com mesma temp seriam iguais, ainda que possam ter alterado algo relacionado com a temp é impossível saber pelos graficos, podem ter alterado o step ou o tempo de registo térmico e não ter alterado a temp max, por exemplo, ou podem mesmo não ter alterado nada e simplesmente o throttling é insuficiente dado o alto valor do min_freq mas o que quer que seja, o importante é que o limite do min_freq foi alterado e por isso é que do teste resultam melhores scores.
NOTA: Eu não vou comentar mais este assunto aqui, porque já vai extenso e estas a bater numa tecla que não é o ponto crucial mas sim uma consequência, se quiseres deixa o teu email que eu envio-te um convite para um channel no Slack onde foram feitos os testes e envio-te uma parte dos mesmos.
Abraço
AFontes, uma no cravo outra na ferradura! Tu mais do que uma vez disseste que qualquer aplicação podia ser corrida nas mesmas condições, o que é falso.
Ter definida uma frequência máxima igual não é ter a mesma condição (há mais parâmetros que são definidos pelo sistema), e por isso não te diz que a performance disponível a uma aplicação vai ser igual, porque as frequências que são usadas no trabalho da aplicação não são constantes ao longo do tempo, o nº de núcleos activos não é constante ao longo do uso, a latência de activação tem impacto, aumento de temperatura pode levar a throttling no tempo em que a aplicação realiza trabalho, etc, etc. Os processadores são geridos duma forma mais complexa do que a definição dessas frequências… eu assumi que sabias disso, mas pelos vistos dada a tua resposta parece que não, daí toda a tua confusão!
O que está em discussão é a 1+ ter implementado 2 modos distintos de gestão do processador. Os resultados mostram que há um impacto na performance entre os 2 modos, não é só o overclock que permite aumentar “artificialmente” a performance.
Relê o que escreveste, tu falas na possibilidade doutras aplicações poderem correr nas mesmas condições adicionando manualmente à lista.
4- Se queres entender os resultados não podes olhar para cada dado de forma isolada. É mais do que evidente que existe throttling térmico, com diferentes amplitudes entre condições, a fazer o mesmo trabalho.
Em lado nenhum disse que a temperatura é o único factor que influencia, mas é o parâmetro definido no sistema em que há mudanças entre as duas condições. Se fosse pelas tua teoria de load, nunca haveria redução da performance (throttling) em cada ponto, pois o trabalho (load) do processador é sempre o mesmo em cada ponto. Se fosse pela tua teoria de frequências isso nunca impediria o desligar de núcleos, o que afectaria ainda mais a performance medida.
MAs nada desta discussão consegue esconder o facto de que as condições em que o benchmark corre é diferente do que as outras aplicações encontram.
Mas afinal é ou não a capacidade do processador que dão esses resultados?
É que pelos vários testes comparativos fora das app dos benchmark, temos velocidades de equiparadas a outros equipamentos de topo…
Tenho um OP3 e nunca me deixou ficar mal, RR3 e MC5 rolam na perfeição!!!
É o mesmo que dizer que o teu carro num teste desligar as protecções do motor e dá 200 CV mas na realidade quando usas só tens disponível 150 CV. Não te sentes enganado?
Enganado se for na conversa dos “benchmark”, pois a maioria dessas máquinas corre tudo, a BMW limita a velocidade dos seu carros a 250km/h mas dão 300km/h, as pessoas estão a ser enganadas?
Tenta ver ao contrario. Compras um de 150cv e depois descobres que dá 200cv. Duvido que esses testes sejam normalizados ou que sirvam de meio de publicidade das marcas
Alexandre, mas tu não descobres que dá 200cv pois não te dá a opção para escolher usar 200cv, só quando corre testes que o fabricante pré-selecionou é que dá a melhor potência, ao passo que no uso útil da pessoa isso não acontece.
Acho que não me diz entender. O valor obtido é a capacidade maxima da máquina independentemente de ser uma opção acessível ao utilizador comum. Assim como o chip. E parece-me que esse tipo de testes tem como objetivo esse mesmo. Um dia que exista normalização dos testes a comparação será mais justa
@Alexandre,
Entao tens um carro que sai de fabrica com 200Cv, mas que com uma reprogramacao fica com 240cv… Está certo?Yah o carro dá para meter mais mas por outras questoes decidiram que saisse com 200Cv…nos testes continua a ter 200Cv…
Neste caso, seria o mesmo que a marca te vender o carro com 200Cv mas quando fossem testar mostrasse ter 240Cv…mas…unica e exclusivamente durante os testes…
Percebes a diferenca?Se assim é, estao a enganar os patos que compram o lixo deles.
Alexandre, nenhum especialista avalia dessa forma uma máquina porque não dá informação fiável e útil sobre o uso da máquina, aliás quem faz estes benchmarks é contra o que a OnePlus fez e já outros fizeram no passado. Para além que estes testes servem para poder comparar máquinas, e se uma delas faz este tipo de coisas às escondidas está a deturpar essa comparação.
O que tu queres fazer só faz sentido para testar um componente isolado com testes especializados, para comparação com outros componentes do mesmo tipo nas mesmas condições. Mas não é isso que estes benchmarks aos aparelhos fazem, e tentares que seja leva ao mesmo que a Volkswagen fez.
É mais ao contrário… compras um carro anunciado como 200cv em que o anunciam igualmente em testes e benchmarks mas depois no dia a dia (a não ser que corras também benchmarks :)) apenas tens 150cv…
Tenho um Op3, e já havia notado o consumo excessivo de bateria durante os testes de benchmark, mas o mais engraçado é que a ROM resurrectionremix baseado em cyanogen ainda tenho melhores indicadores em benchmark. Será que estas ROM têm o mesmo problema?
Não, eu estava a aguardar pela próxima build para ver o comportamento das aplicações de benchmark porque assim que alteras a ROM e o kernel os resultados são ainda melhores e esta questão não é replicada, ou seja é expectável que mesmo sem está alteração no perfd os resultados sejam os mesmos.
PS: Os resultados do A3000 e do A3003, eram iguais e o A3000 já tinha está alteração.
Caros, (meo ponto de vista) tenho um OnePlus 3T e até me podia sentir enganado. O estranho é que não sinto. Esta m%&$da está mesmo feita para quando é posto à prova dar mesmo, mesmo o litro, espremer ao máximo os recursos. É como dizer que um carro, quando sabe via GPS que está num autódromo, o motor meter-se automaticamente num modo hyper sport e bater tempos em pista. Isso é batota? Julgo que batota seria os resultados mostrados serem falsos. Mas não, o telemóvel é mesmo capaz dessas pontuações se a sua utilização for optimizada. Penso eu de que…
Acho Xiaomi muito melhor que oneplus e mais bonito
Sim é capaz, mas apenas durante os benchmark…
Qualquer telefone que se aumente o clock etc etc dá o litro para bater records…
No entanto se tivesses essa performance no dia a dia (que é o que te tentam fazer acreditar) a bateria durava muito menos, aquecia mais etc etc etc…
benchmarkgate
Acho que ninguém ainda se apercebeu da parte realmente importante deste artigo. Esta situação tem o condão de revelar a vantagem de se tratar de um código aberto e facilmente analisável por qualquer um… Agora quem vai descobrir que outras marcas fazem o mesmo quando não há acesso ao código. Pois… E isto é algo menor. Agora pensem um pouco noutros aspectos como privacidade, acesso remoto, controlo de equipamentos, etc.
mas eles não descobriram isto por causa de ter código aberto, de tal maneira que tiveram que pedir para que fosse feito um novo benchmark da Geekbench para verificar que havia realmente algo de errado no comportamento.
Android e código aberto na mesma frase é algo que nao combina…mas sim continua a acreditar que podes pegar no código e fazer o que quiseres.
a confirmar-se, é uma atitude lamentável e as marcas deviam ser punidas por publicidade enganosa ou algo assim. coisas idênticas, mas muito mais graves, aconteceram com os automóveis e o problema das emissões nocivas.
acredito que acontecerá em muitas outras áreas.
😉 por outro lado, confesso que não consigo deixar de pensar que, em coisas inofensivas como nos telemóveis, é um pouco “bem feito” para os compradores que baseiam as suas compras em specs e benchmarks
lol mas o que isto tem a ver com os gsses?!?!? ainda se falasses na performance do motor…
sinceramente não vejo onde está o problema na oneplus fazer isto e já não via na Samsung!!! a aplicação não é feita para testar as máximas capacidades do cpu?!?!? se houvesse um modo performance nos menus já não haveria adulteração mas sim uma feature!! enfim é o que dá ligarem demasiada ao AnTuTu
Xiaomi é mais seguro. e afinal se calhar é mais potente! mi mix e mi5s
Esperem ate sair a nova maquina! MI6
Mais seguro porquê?
A questão aqui não tem nada a ver com o seu potencial porque ele está lá todo, agora a maneira em que foi feito os benchmark é que foram adulterados, ou seja nos momentos em que o benchmark apenas usa 50% do CPU, com a modificação que ouve para adulterar os resultados, o CPU estava a fazer os testes a 100% na velocidade máxima, logo isto no final do benchmark vai trazer um resultado superior porque foi feito fora dos parâmetros normais do benchmark, porque foi feito com mais velocidade do que o que deveria ter sido feito, a única coisa que é enganosa é o score do benchmark em relação aos outros equipamentos.
Já é difícil saber em quem confiar neste mercado! Mas se a Oneplus não estivesse a ameaçar a concorrência, isto nem seria notícia… Espero que todas as empresas, concorram no mercado de forma leal e transparente… Quanto a todos os terminais que a Oneplus, já colocou no mercado, só posso dizer, excelente!!!
HTC 10 forever!
Acho que isso de “benchmark” é como medir “pilinhas”(peço desculpa pela expressão) não é o numero grande de um resultado de benchmark que faz a diferença, mas sim a experiência para o utilizador e o resultado final no uso diario.
Quem tiver um telefone OnePlus 3 ou 3T acho que não liga a benchmarks.
É certo que 400€ a 440€, garantidamente que não arranjam nada melhor.
Por vários meses consecutivos que era reconhecido como um dos melhores telefones no mercado.
Tal como já foi mencionado, agora que rouba mercado a outras marcas é preciso tentar abanar a marca.